天池精准医疗大赛——人工智能辅助糖尿病遗传风险预测

作为天池上的新手，第一次参加天池阿里云线上的比赛，糖尿病预测，

一般的数据挖掘比赛，流程：数据清洗，特征工程（找特征，特征组合），不断的尝试的不同算法，不断调参，也可以考虑将多个模型进行线性组合

大赛初赛数据共包含两个文件，训练文件d_train.csv和测试文件d_test.csv，每个文件第一行是字段名，之后每一行代表一个个体。文件共包含42个字段，包含数值型、字符型、日期型等众多数据类型，部分字段内容在部分人群中有缺失，其中第一列为个体ID号。训练文件的最后一列为标签列，既需要预测的目标血糖值。

初赛是关于利用特征预测血糖值，以csv格式文件进行提交。

下面直接切入正题：

代码文件：xgboost_test.py，将代码放在新建项目下，并新建一个文件夹data，原始的数据放在data文件夹中。最终结果会保存在当前项目的目录下.csv文件。

算法思路：单模型+原始33个特征

（1）最初想法：使用最近邻的插补方法，即找一条与空缺值相近的且完整的记录对空缺数据的进行插补，将插补后的数据和原始的未插补的数据都带入算法模型中进行验证，发现插补后的数据误差较大，果断放弃。最终仍然使用的是原始的带空缺值的数据用于训练模型。

（2）在公布a榜测试集答案后，把a榜的数据作为训练集，把训练集拼接起来，增加了训练集的样本数量。

（3）由于最开始的训练集中存在血糖值异常大的记录，删除训练集中血糖为38的那一行。由于与乙肝的缺失值太多，且相关性不高，因此删除了乙肝等5个特征属性，以及删除了‘id’、‘性别’、‘体检日期’特征属性。

（4）在开始部分计算了各个特征与‘血糖’的Persona相关性系数，去相关系数较大的几个特征用于训练模型，发现效果不及用33个特征。因此算法模型采用的33个特征，进行血糖的预测。

（5）在不断尝试过catboost，LightGBM ,神经网络等基本的算法模型和调参后，发现使用xgboost效果的最好，在无数次不断调参后，达到最优的效果，及最终的成绩86名|0.6316

最终比较幸运的初赛86名，进入复赛

代码：

  1 import pandas as pd

  2 import xgboost as xgb

  3 from sklearn.metrics import mean_squared_error

  4

  5 # 将两部分的训练集train1，train2共同组合成总得训练集train

  6 train1=pd.read_csv(r"data/d_train_20180102.csv",encoding='gbk')

  7 # 合并训练集

  8 train2_1=pd.read_csv(r"data/d_test_A_20180102.csv",encoding='gbk')

  9 train2_2=pd.read_csv(r"data/d_answer_a_20180128.csv",encoding="gbk",header=None)

 10 train2_2.rename(columns={0:'血糖'},inplace=True) #取名“血糖”

 11 train2=pd.concat([train2_1,train2_2],axis=1)

 12 train=pd.concat([train1,train2],axis=0)

 13

 14 # 删除特别大的‘血糖’异常值

 15 columns=len(train.columns)

 16 train.drop(train.index[[i for i in train.index if train.iloc[i,columns-1]>30]],inplace=True)

 17 # 测试集

 18 test=pd.read_csv(r"data/d_test_B_20180128.csv",encoding='gbk')

 19 # validate=pd.read_csv(r"data/d_answer_b_20180130.csv",encoding='utf-8',header=None)

 20 del_feat=['性别','体检日期','乙肝表面抗原', '乙肝表面抗体', '乙肝e抗原', '乙肝e抗体', '乙肝核心抗体']

 21 # 删除特征

 22 feat=[]

 23 for i in train.columns:

 24     if i not in del_feat:

 25         feat.append(i)

 26 train=train[feat]

 27 feat.remove('血糖') #测试集不需要‘血糖’属性

 28 test=test[feat]

 29

 30 y_train = train["血糖"]

 31 x_train = train.drop(['id','血糖'], axis=1)

 32 y_test = test.drop('id', axis=1)

 33

 34 # training xgboost

 35 dtrain = xgb.DMatrix(x_train, label=y_train)

 36 dtest = xgb.DMatrix(y_test)

 37

 38 params = {'booster': 'gbtree',

 39           'objective': 'reg:linear',

 40           'eval_metric': 'rmse',

 41           'max_depth': 6,#通常取值：3-10

 42           'gamma':0.2,#给定了所需的最低loss function的值

 43           'lambda': 100,

 44           'subsample': 1,#用于训练模型的子样本占整个样本集合的比例

 45           'colsample_bytree': 0.6,

 46           'min_child_weight': 12,  # 5~10,孩子节点中最小的样本权重和，即调大这个参数能够控制过拟合

 47           'eta': 0.02,#更新过程中用到的收缩步长，取值范围为：[0,1]

 48           'sample_type': 'uniform',

 49           'normalize': 'tree',

 50           'rate_drop': 0.1,

 51           'skip_drop': 0.9,

 52           'seed': 100,

 53           'nthread':-1

 54           }

 55

 56 bst_nb = 700

 57 watchlist = [(dtrain, '训练误差')]

 58 model = xgb.train(params, dtrain, num_boost_round=bst_nb, evals=watchlist)  # 训练模型

 59

 60 y_pred = model.predict(dtest)

 61

 62 # print((mean_squared_error(validate,y_pred))/2)

 63 y_predDF=pd.DataFrame({None:y_pred})

 64 y_predDF.to_csv("SMUDMers_test_B_res.csv",header=None,index=False,float_format="%.2f")

顺便把大佬们的思路粘贴一下：

巴特西

天池精准医疗大赛——人工智能辅助糖尿病遗传风险预测

豆腐大佬：初赛626方案（实际加上后验可以达到600）+（A榜线下81线上815）+复赛基本思路和方案

吴飞：天池精准医疗大赛——人工智能辅助糖尿病遗传风险预测0.596931925方法代码分享

吴飞：人工智能辅助糖尿病遗传风险预测 XGBoost, LightGBM, NN,CATBOOST and OLS实验代码线上0.8429

最新文章

热门文章

巴特西

天池精准医疗大赛——人工智能辅助糖尿病遗传风险预测

豆腐大佬：初赛626方案（实际加上后验可以达到600）+（A榜线下81线上815）+复赛基本思路和方案

吴飞：天池精准医疗大赛——人工智能辅助糖尿病遗传风险预测0.596931925方法代码分享

吴飞：人工智能辅助糖尿病遗传风险预测 XGBoost, LightGBM, NN,CATBOOST and OLS实验代码 线上0.8429

最新文章

热门文章

吴飞：人工智能辅助糖尿病遗传风险预测 XGBoost, LightGBM, NN,CATBOOST and OLS实验代码线上0.8429