完整代码: https://github.com/cindycindyhi/kaggle-Titanic 特征工程系列: Titanic系列之原始数据分析和数据处理 Titanic系列之数据变换 Titanic系列之派生属性&维归约 之前的三篇博文已经进行了一次还算完整的特征工程,分析字符串类型的变量获取新变量,对数值变量进行规范化,获取派生属性并进行维规约.现在我们已经有了一个特征集,可以进行训练模型了. 由于这是一个分类问题,可以使用L1 SVM 随机森林等分类算法,随机森林是一个非常简单而

原kaggle比赛地址:https://www.kaggle.com/c/titanic 原kernel地址:A Data Science Framework: To Achieve 99% Accuracy Step 5: Model Data 数据科学是交叉学科,我们仅仅称他为计算机科学的一部分是有失公正的,它包含了数学,cs,商业管理,统计学等等方向. 机器学习被分为监督学习,无监督学习和强化学习,强化学习是前两者的混合. 算法被归为四类:分类.回归.聚类.降维,此kernel专注于分类与

自从入了数据挖掘的坑,就在不停的看视频刷书,但是总觉得实在太过抽象,在结束了coursera上Andrew Ng 教授的机器学习课程还有刷完一整本集体智慧编程后更加迷茫了,所以需要一个实践项目来扎实之前所学的知识.于是就参考kaggle上的starter项目Titanic,并选取了kernel中的一篇较为祥尽的指南,从头到尾实现了一遍.因为kaggle入门赛相关方面的参考和指导非常少,因此写博给需要学习的同学做个小参考,也记录下数据挖掘的学习历程.新手上路,如果博文有误或缺失,还希望各位大神指正

原kaggle比赛地址:https://www.kaggle.com/c/titanic 原kernel地址:A Data Science Framework: To Achieve 99% Accuracy 问题处理之前要知道的事: 数据科学框架(A Data Science Framework) 1.定义问题(Define the Problem): 问题→需求→方法→设计→技术,这是刚开始拿到问题的解决流程,所以在我们用一些fancy的技巧和算法解决问题之前,必须要明确我们需要解决的问题到

数据清洗及可视化 实验内容 数据清洗是数据分析中非常重要的一部分,也最繁琐,做好这一步需要大量的经验和耐心.这门课程中,我将和大家一起,一步步完成这项工作.大家可以从这门课程中学习数据清洗的基本思路以及具体操作,同时,练习使用 Pandas 数据分析工具.Seaborn 统计分析可视化工具. 实验知识点 离群点分析 缺失值处理 偏态分布数据处理 实验步骤 环境准备 下载数据 !wget -nc http://labfile.oss.aliyuncs.com/courses/1001/train.

1.准备数据 import numpy as np import pandas as pd import matplotlib.pyplot as plt import tensorflow as tf from tensorflow.keras import models,layers dftrain_raw = pd.read_csv('./data/titanic/train.csv') dftest_raw = pd.read_csv('./data/titanic/test.csv')

---恢复内容开始--- 原kaggle比赛地址:https://www.kaggle.com/c/titanic 原kernel地址:A Data Science Framework: To Achieve 99% Accuracy Step 4: Perform Exploratory Analysis with Statistics 使用描述性与图表分析数据,重点在于数据可视化,突出数据类别与不同feature的关联性 简单的groupby()获得不同feature对于生存率的影响 箱型图

分享一篇kaggle入门级案例,泰坦尼克号幸存遇难分析. 参考文章: 技术世界,原文链接 http://www.jasongj.com/ml/classification/ 案例分析内容: 通过训练集分析预测什么人可能生还,并对测试集中乘客做出预测判断 案例分析 加载包 library(dplyr) #bind_rows() library(ggplot2) #绘图 library(ggthemes) library(InformationValue) #计算WOE和IV library(str

      顶尖数据挖掘辅助教学套件 (TipDM-T6)           产  品  说  明  书 广州泰迪智能科技有限公司 版权所有 地址: 广州市经济技术开发区科学城232号 网址: http://www.tipdm.com 邮箱: services@tipdm.com 热线: 40068-40020 企业QQ:40068-40020 邮编: 510663 电话: (020)82039399 目  录 1                     引言.................

    顶尖大数据挖掘实战平台 (TipDM-H8)           产  品  说  明  书 广州泰迪智能科技有限公司 版权所有 地址: 广州市经济技术开发区科学城232号 网址: http://www.tipdm.com 邮箱: services@tipdm.com 热线: 40068-40020 企业QQ:40068-40020 邮编: 510663 电话: (020)82039399 目  录 1                     引言....................

1. 近期目标,实现随机森林进行点云分类 1)学习阶段: [干货]Kaggle 数据挖掘比赛经验分享 Kaggle Machine Learning Competition: Predicting Titanic Survivors Kaggle Titanic 生存预测 -- 详细流程吐血梳理 机器学习实战之Kaggle_Titanic预测 https://www.codeproject.com/Articles/1197167/Random-Forest-Python https://blo

一.什么是BI BI(商务智能)通过给海量云数据制定“游戏规则”(对不同主题进行不同分析),将分散的数据进行搜集.整合.清理和诊断,借助一定的分析手段,进而将数据转化为信息和知识,快速准确的提供报表并提出决策依据,进而为企业管理者做出明智的业务经营决策提供支持. 二.内容 BI对数据的分析处理主要包括三个方面的内容. 首先,是数据仓库或数据集市的建立,对数据进行预处理.BI以企业经营管理需求为基础,根据不同分析主题,从企业许多来自不同的运作系统的数据中提取出有用的数据,以保证数据的正确性,然后经

使用性能监视器,您可以通过性能计数器监视 Microsoft SQL Server Analysis Services (SSAS) 实例的性能. 性能监视器是用于跟踪资源使用情况的 Microsoft 管理控制 (MMC) 管理单元. 您可以通过以下方式启动此 MMC 管理单元:在命令提示符下键入 PerfMon,或从"控制面板"依次单击"管理工具"和"性能监视器". 性能监视器使您可以通过使用预定义对象和计数器来跟踪服务器和进程的性能和活动,

原创文章,同步首发自作者个人博客 .转载请务必在文章开头显眼处注明出处 摘要 本文详述了如何通过数据预览,探索式数据分析,缺失数据填补,删除关联特征以及派生新特征等方法,在Kaggle的Titanic幸存预测这一分类问题竞赛中获得前2%排名的具体方法. 竞赛内容介绍 Titanic幸存预测是Kaggle上参赛人数最多的竞赛之一.它要求参赛选手通过训练数据集分析出什么类型的人更可能幸存,并预测出测试数据集中的所有乘客是否生还. 该项目是一个二元分类问题 如何取得排名前2%的成绩 加载数据 在加载数

使用性能监视器,您可以通过性能计数器监视 Microsoft SQL Server Analysis Services (SSAS) 实例的性能. 性能监视器是用于跟踪资源使用情况的 Microsoft 管理控制 (MMC) 管理单元. 您可以通过以下方式启动此 MMC 管理单元:在命令提示符下键入 PerfMon,或从“控制面板”依次单击“管理工具”和“性能监视器”. 性能监视器使您可以通过使用预定义对象和计数器来跟踪服务器和进程的性能和活动,以及通过使用用户定义的计数器来监视事件. 性能监视

作者:黄永刚 机器学习规则:ML工程最佳实践 本文旨在指引具有机器学习基础知识的工程师等人,更好的从机器学习的实践中收益.介绍一些应用机器学习需要遵循的规则,类似于Google C++ 风格指南等流行的编程指南.如果你已经上过机器学习相关课程或者正在从事相关的工作,那你已经满足阅读本文所需的背景知识了. Before Machine Learning Rule: #1: 不要害怕开发没有应用机器学习技术的产品 Rule: #2: 设计评价指标并设立优先级 Rule: #3: 先使用复杂的启发式规

此前用自己实现的随机森林算法,应用在titanic生还者预测的数据集上.事实上,有很多开源的算法包供我们使用.无论是本地的机器学习算法包sklearn 还是分布式的spark mllib,都是非常不错的选择. Spark是目前比较流行的分布式计算解决方案,同时支持集群模式和本地单机模式.由于其通过scala语言开发,原生支持scala,同时由于python在科学计算等领域的广泛应用,Spark也提供了python的接口. Spark的常用操作详见官方文档: http://spark.apache

1.背景 Titanic存活率预测案例: # 读取数据 df_train = pd.read_csv("./data/train.csv") df_train.head() OUT: 乘客姓名重复度太低,不适合直接使用.而姓名中包含Mr. Mrs. Dr.等具有文化特征的信息,可将之抽取出来: # 定义一个抽取方法 def GetMiddleStr(content): startStr = ',' endStr = '.' startIndex = content.index(star

​在大数据,云计算,工业4.0,物联网等概念概念炒得飞起的年代,现在已经变成某宝天天给我推送我感兴趣的东西.由此可见数据和科技正在慢慢深刻地改变我们的生活. 随着时代的发展,各个企业的内部决策方式也是发生着巨大的变化,而缩短企业内部的决策时间和提高决策的效率是各个企业追求的目标. 1.可视化报表呈现 运用商业智能BI中的可视化图表可以将企业日常的业务数据(财务.供应链.人力.运营.市场.销售.产品等)全面展现出来,再通过各种数据分析维度筛选.关联.跳转.钻取等方式查看各类业务指标.让企业管理者对

​任何从事数据分析的小伙伴,或多或少都会听说BI这个数据分析工具.希望进入数据分析工作的小伙伴也一定绕不开BI这个话题,那么BI到底是什么呢?为什么BI如此重要?BI能给企业带来什么?如何选择BI工具?别担心,现在小编就来一一解答这些问题. 一.什么是BI? BI是商业智能(Business Intelligence)的简称,也叫商业智能.这是一个完整的解决方案,可以有效地整合企业中现有的数据.简而言之,就是可以用BI工具代替Excel来处理大量的数据,这是一种帮助企业做出明智业务决策的工具.