概述 1912年4月15日,泰坦尼克号在首次航行期间撞上冰山后沉没,2224名乘客和机组人员中有1502人遇难.沉船导致大量伤亡的原因之一是没有足够的救生艇给乘客和船员.虽然幸存下来有一些运气因素,但有一些人比其他人更有可能生存,比如妇女,儿童和上层阶级.在本文中将对哪些人可能生存作出分析,特别是运用Python和机器学习的相关模型工具来预测哪些乘客幸免于难,最后提交结果.从kaggle泰坦尼克生存预测项目下载相关数据. 实施步骤 1.提出问题 什么样的人在泰坦尼克号中更容易存活? 2.理解数据

>> Score 最近用随机森林玩了 Kaggle 的泰坦尼克号项目,顺便记录一下. Kaggle - Titanic: Machine Learning from Disaster Ongoing: Top 8% >> Details Sample Code download here

箱线图boxplot--展示数据的分布 图表作用: 1.反映一组数据的分布特征,如:分布是否对称,是否存在离群点 2.对多组数据的分布特征进行比较 3.如果只有一个定量变量,很少用箱线图去看数据的分布,而是用直方图去观察.一般都要跟其余的定性变量做分组箱线图,可以起对比作用.(key) 适合数据类型: 针对连续型变量 用法: 只有一个变量.一组的数据(1个变量,0个定性变量),比如:学生的成绩情况 只有一个变量.多组数据(1个变量,1个定性变量[班级]),比如:1.2.3班学生的成绩情况 只有一

sklearn实战-乳腺癌细胞数据挖掘(博主亲自录制视频) https://study.163.com/course/introduction.htm?courseId=1005269003&utm_campaign=commission&utm_source=cp-400000000398149&utm_medium=share 医药统计项目可联系  QQ:231469242     决策树优点和缺点 决策树优点 1.简单易懂,很好解读,可视化 2.可以变量筛选 缺点 1.决策树

生存分析是对生存时间进行统计分析的一种技术,所谓生存时间,就是指从某一时间点起到所关心的事件发生的这段时间.这里的时间不一定就是钟表日历上的时间,也有可能是其他的度量单位,比如长度单位等. 生存时间有两个特点: 1.存在删失,是指由于某种原因导致生存时间没用被准确或完整的记录下来,这种情况很常见,如果不存在删失,那么生存分析和一般统计方法没用太大区别,但是一旦出现删失,就必须考虑其影响,一般统计方法将不再适用. 2.生存时间非负,且分布常常右偏,导致基于正态分布理论的常规统计方法不适用.用生存分

  # coding: utf-8 # In[1]: import urllib.request import os # In[2]: url="http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic3.xls" filepath="titanic3.xls" if not os.path.isfile(filepath): result=urllib.request.urlretrieve(u

今天被粉丝发的文章给难住了,又偷偷去学习了一下竞争风险模型,想起之前写的关于竞争风险模型的做法,真的都是皮毛哟,大家见笑了.想着就顺便把所有的生存分析的知识和R语言的做法和论文报告方法都给大家梳理一遍. 什么时候用生存分析 当你关心结局和结局发生时间的时候,就要考虑生存分析了,这种既有结局又有时间的数据叫做生存数据,英文叫做Time-to-event data. 只不过因为这个方法医学上用来分析存活情况用的多,所以得名生存分析,反正你就记住一个例子,我要研究汽车发生故障,我也应该用生存分析,因为

三种开发模式 使用TensorFlow 2.0完成机器学习一般有三种方式: 使用底层逻辑 这种方式使用Python函数自定义学习模型,把数学公式转化为可执行的程序逻辑.接着在训练循环中,通过tf.GradientTape()迭代,使用tape.gradient()梯度下降,使用optimizer.apply_gradients()更新模型权重,逐次逼近,完成模型训练. 使用Keras高层接口 TensorFlow 1.x的开发中,Keras就作为第三方库存在.2.0中,更是已经成为标准配置.我们

泰坦尼克号获救率数据分析报告,用数据揭露真相. 一,船上乘客生存率分析报告 泰坦尼克号生存率仅有38%的,可见此次事件救援不力,救生艇严重不足,且泰坦尼克号号撞得是冰山,海水冷,没有救生艇,在水里冻死的乘客不少. 二,哪个年龄段存活率最高(青年人(18岁以下),中年人(18到50岁),老年人(50岁以上)) 数据分析:看图我们得到,年轻人获救率最高50%,老年人获救率最低0.39,中年人死亡人数最多.发生生命危险时,自救能力最强的中年人还是起到了中流砥柱的作用.不要再叫猥琐油腻中年男了哦,他们才

1 引言 刚接触python与大数据不久,这个是学长给出的练习题目.知识积累太少,学习用了不少的时间.尽量详细的写,希望对各位的学习有所帮助. 2 背景 2.1 Kaggle 本次数据集来自于Kaggle.Kaggle是一个数据分析建模的应用竞赛平台.想要了解详细资料的小伙伴请自行百度. 2.2 泰坦尼克号 本次问题页面 请到Data页面下载数据集 数据集的各属性在Data页面下有详细介绍. 问题就是以大家熟悉的泰坦尼克号为背景展开的,本次任务的目的就是构建一个可以根据乘客个人信息推测乘客是否生

前言 这个是Kaggle比赛中泰坦尼克号生存率的分析.强烈建议在做这个比赛的时候,再看一遍电源<泰坦尼克号>,可能会给你一些启发,比如妇女儿童先上船等.所以是否获救其实并非随机,而是基于一些背景有先后顺序的. 1,背景介绍 1912年4月15日,载着1316号乘客和891名船员的豪华巨轮泰坦尼克号在首次航行期间撞上冰山后沉没,2224名乘客和机组人员中有1502人遇难.沉船导致大量伤亡的原因之一是没有足够的救生艇给乘客和船员.虽然幸存下来有一些运气因素,但有一些人比其他人更有可能生存,比如妇女

Titanic是kaggle上的一道just for fun的题,没有奖金,但是数据整洁,拿来练手最好不过啦. 这道题给的数据是泰坦尼克号上的乘客的信息,预测乘客是否幸存.这是个二元分类的机器学习问题,但是由于数据样本相对较少,在当时慌乱的情况下幸存者有一定的随机性,还是有一定挑战的.https://www.kaggle.com/c/titanic-gettingStarted/ 一 载入数据 首先,我们要先看一看数据,分析数据的一些较为直观的特征.代码使用numpy pandas和scikit

  笔者是一位移动互联网老兵,做过好几个App的开发运营工作,其中一些如今侥幸有了上亿用户.今天和大家聊一下App开发中,不能缺少的一个工具——数据分析系统 首先,App创业者为什么需要一个数据分析系统? 当你开发了一个App,它有精美的UI,优秀的功能,极致的用户体验,满心欢喜地提交到各个应用商店,是否满满的成就感呢?可是,这App每天的用户是多少?每天新增多少用户?用户喜欢哪些功能?用户来自哪里?新增的用户又有多少变成死忠用户?这些你都一无所知. 这时,你可能会考虑给你的应用加上了一些统计功

一.材料准备 https://www.kaggle.com/c/titanic-gettingStarted/ 二.提出问题 生存率和哪些因素有关(性别,年龄,是否有伴侣,票价,舱位等级,包间,出发地点) 1.乘客的年龄和票价的分布 2.样本生存的几率是多少 3.乘客的性别比例 4.乘客的舱位分布 5.性别和生还有没有关系 6.舱位等级和生还有没有关系 7.年龄和生还有没有关系 8.出发地点和生存率有没有关系 9.票价和生还有没有关系 10.有陪伴的乘客的生还几率是否更高 三.编写代码和做出图形

1.pandas简介 Python Data Analysis Library 或 pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的.Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具.pandas提供了大量能使我们快速便捷地处理数据的函数和方法.你很快就会发现,它是使Python成为强大而高效的数据分析环境的重要因素之一. pandas是numpy库的更高级封装,pandas方法中很多是调用了numpy库的方法 2.pandas

本文转自知乎 作者:苏格兰折耳喵 ----------------------------------------------------- 本文篇幅较长,分为五部分,在中间部分有关于心理分析工具的介绍,案例分散在第二部分和第五部分,大家在阅读的时候可以跳过"心理分析工具"部分,直接去看案例,如有不明白的地方,再回去查看理论基础,这样也会提升阅读效率. 现今互联网界,不管是研发.产品.设计,还是市场或运营,用户画像这个概念被炒得相当的火.如何构建用户画像的方法论可谓是汗牛充栋,但鲜有能

豆瓣电影top250数据分析 数据来源(豆瓣电影top250) 爬虫代码比较简单 数据较为真实,可以进行初步的数据分析 可以将前面的几篇文章中的介绍的数据预处理的方法进行实践 最后用matplotlib与pyecharts两种可视化包进行部分数据展示 数据仍需深挖,有待加强 #首先按照惯例导入python 数据分析的两个包 import pandas as pd import numpy as np import matplotlib.pyplot as plt from pyecharts i

泰坦里克号预测生还人口问题 泰坦尼克号问题背景 - 就是那个大家都熟悉的『Jack and Rose』的故事,豪华游艇倒了,大家都惊恐逃生,可是救生艇#### 的数量有限,无法人人都有,副船长发话了lady and kid first!,所以是否获救其实并非随机,而是基#### 于一些背景有rank先后的. - 训练和测试数据是一些乘客的个人信息以及存活状况,要尝试根据它生成合适的模型并预测其他人的存活状况. 一.数据预处理 import pandas as pd #数据分析 import nu

Python数据分析与挖掘所需的Pandas常用知识 前言Pandas基于两种数据类型:series与dataframe.一个series是一个一维的数据类型,其中每一个元素都有一个标签.series类似于Numpy中元素带标签的数组.其中,标签可以是数字或者字符串.一个dataframe是一个二维的表结构.Pandas的dataframe可以存储许多种不同的数据类型,并且每一个坐标轴都有自己的标签.你可以把它想象成一个series的字典项. Pandas常用知识 一.读取csv文件为dataf

Python文本数据分析与处理(新闻摘要) 分词 使用jieba分词, 注意lcut只接受字符串 过滤停用词 TF-IDF得到摘要信息或者使用LDA主题模型 TF-IDF有两种 jieba.analyse.extract_tags(content, topK=20, withWeight=False) # content为string, topK选出20个关键字, withWeight: 每一个关键词同等重要 使用gensim库 from gensim import corpora, model