# 常规参数 booster gbtree 树模型做为基分类器(默认) gbliner 线性模型做为基分类器 silent silent=0时,不输出中间过程(默认) silent=1时,输出中间过程 nthread nthread=-1时,使用全部CPU进行并行运算(默认) nthread=1时,使用1个CPU进行运算. scale_pos_weight 正样本的权重,在二分类任务中,当正负样本比例失衡时,设置正样本的权重,模型效果更好.例如,当正负样本比例为1:10时,scale_pos_w

sklearn逻辑回归 logistics回归名字虽然叫回归,但实际是用回归方法解决分类的问题,其形式简洁明了,训练的模型参数还有实际的解释意义,因此在机器学习中非常常见. 理论部分 设数据集有n个独立的特征x,与线性回归的思路一样,先得出一个回归多项式: \[y(x) = w_0+w_1x_1+w_2x_2+-+w_nx_n\] 但这个函数的值域是\([-\infty,+\infty]\),如果使用符号函数进行分类的话曲线又存在不连续的问题.这个时候,就要有请我们的sigmoid函数登场了,其

前情提要: 通俗地说逻辑回归[Logistic regression]算法(一) 逻辑回归模型原理介绍 上一篇主要介绍了逻辑回归中,相对理论化的知识,这次主要是对上篇做一点点补充,以及介绍sklearn 逻辑回归模型的参数,以及具体的实战代码. 1.逻辑回归的二分类和多分类 上次介绍的逻辑回归的内容,基本都是基于二分类的.那么有没有办法让逻辑回归实现多分类呢?那肯定是有的,还不止一种. 实际上二元逻辑回归的模型和损失函数很容易推广到多元逻辑回归.比如总是认为某种类型为正值,其余为0值. 举个例子

python信用评分卡建模(附代码,博主录制) https://study.163.com/course/introduction.htm?courseId=1005214003&utm_campaign=commission&utm_source=cp-400000000398149&utm_medium=share sklearn逻辑回归官网调参指南 https://scikit-learn.org/stable/modules/generated/sklearn.linear

Titanic 数据集是从 kaggle下载的,下载地址:https://www.kaggle.com/c/titanic/data 数据一共又3个文件,分别是:train.csv,test.csv,gender_submission.csv 先把需要视同的库导入: import os import datetime import operator import numpy as np import pandas as pd import xgboost as xgb from sklearn.

Titanic 数据集是从 kaggle下载的,下载地址:https://www.kaggle.com/c/titanic/data 数据一共又3个文件,分别是:train.csv,test.csv,gender_submission.csv 先把需要视同的库导入: import os import datetime import operator import numpy as np import pandas as pd import xgboost as xgb from sklearn.

1.介绍 Ridge 回归通过对系数的大小施加惩罚来解决 普通最小二乘法 的一些问题. 岭系数最小化的是带罚项的残差平方和, 其中,α≥0α≥0 是控制系数收缩量的复杂性参数: αα 的值越大,收缩量越大,这样系数对共线性的鲁棒性也更强. 2.参数 alpha:{float,array-like},shape(n_targets) 正则化强度; 必须是正浮点数. 正则化改善了问题的条件并减少了估计的方差. 较大的值指定较强的正则化. Alpha对应于其他线性模型(如Logistic回归或Line

class sklearn.linear_model.LogisticRegression(penalty=’l2’, dual=False, tol=0.0001, C=1.0, fit_intercept=True, intercept_scaling=1, class_weight=None, random_state=None, solver=’liblinear’, max_iter=100, multi_class=’ovr’, verbose=0, warm_start=False

目录 题目要求 ex2data1.txt处理 方案一:无多项式特征 方案二:引入多项式特征 ex2data2.txt处理 两份数据 ex2data1.txt ex2data2.txt 题目要求 根据学生两门课的成绩和是否入学的数据,预测学生能否顺利入学:利用ex2data1.txt和ex2data2.txt中的数据,进行逻辑回归和预测. 数据放在最后边. ex2data1.txt处理 作散点图可知,决策大致符合线性关系,但还是有弯曲(非线性),用线性效果并不好,因此可用两种方案:方案一,无多项式

explained_variance_score() mean_absolute_error() mean_squared_error() r2_score() 以上四个函数的相同点: 这些函数都有一个参数“multioutput”,用来指定在多目标回归问题中,若干单个目标变量的损失或得分以什么样的方式被平均起来 它的默认值是“uniform_average”,他就是将所有预测目标值的损失以等权重的方式平均起来 如果你传入了一个shape为(n_oupputs,)的ndarray,那么数组内的数

可以理解的原理描述: [机器学习]岭回归(L2正则) 最小二乘法与岭回归的介绍与对比 多重共线性的解决方法之——岭回归与LASSO

from sklearn import model_selection from sklearn.linear_model import LogisticRegression from sklearn import metrics # generalization of test and train set X_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=0.5, random

https://blog.csdn.net/u010900574/article/details/52666291 博主总结和很好,方法很实用. python一些依赖库: https://www.lfd.uci.edu/~gohlke/pythonlibs/ lightgbm的原理及使用简介:包含建模,训练,预测,网格参数优化. https://blog.csdn.net/luanpeng825485697/article/details/80236759 LightGBM支持类别特征 实际上大

在XGBoost算法原理小结中,我们讨论了XGBoost的算法原理,这一片我们讨论如何使用XGBoost的Python类库,以及一些重要参数的意义和调参思路. 本文主要参考了XGBoost的Python文档 和 XGBoost的参数文档. 1. XGBoost类库概述 XGBoost除了支持Python外,也支持R,Java等语言.本文关注于Python的XGBoost类库,安装使用"pip install xgboost"即可,目前使用的是XGBoost的0.90版本.XGBoost

Ref: [Link] sklearn各种回归和预测[各线性模型对噪声的反应] Ref: Linear Regression 实战[循序渐进思考过程] Ref: simple linear regression详解[涉及到假设检验] 引申问题,如何拟合sin数据呢? 如果不引入sin这样周期函数,可以使用:scikit learn 高斯过程回归[有官方例子] 参考:[Bayesian] “我是bayesian我怕谁”系列 - Gaussian Process 牛津讲义:An Introducti

等同于xgboost是个准曲率很高的集成学习框架,在很多比赛中成绩优异. 大多数的集成学习都使用决策树作为基分类器,主要是因为本身要训练多个分类器,而决策树速度很快,总体时间相对较少. 决策树 在讲xgboost之前,先描述一下决策树,后面要用到这些符号 决策树是把输入x映射到一个叶节点中,这个过程我们记为q(x) 叶节点总数记为T,每个叶节点有个标签(分类)或者预测值(回归)w,即W=[w1,w2,...wT] 那么决策过程就是 f(x)=W[q(x)],记为wq(x) 决策树的复杂度 决策树

1.lr.predict_proba(under_text_x)  获得的是正负的概率值 在sklearn逻辑回归的计算过程中,使用的是大于0.5的是正值,小于0.5的是负值,我们使用使用不同的概率结果判定来研究概率阈值对结果的影响 从图中我们可以看出,阈值越小,被判为正的越多,即大于阈值的就是为正,但是存在一个很明显的问题就是很多负的也被判为正值. 当阈值很小时,数据的召回率很大,但是整体数据的准确率很小 因此我们需要根据召回率和准确率的综合考虑选择一个合适的阈值 lr = LogisticR

sklearn实战-乳腺癌细胞数据挖掘(博客主亲自录制视频教程) https://study.163.com/course/introduction.htm?courseId=1005269003&utm_campaign=commission&utm_source=cp-400000000398149&utm_medium=share 参考资料 https://www.cnblogs.com/webRobot/p/9034079.html 逻辑回归重点: 1.sigmoid函数(

GBDT & XGBoost ### 回归树 单棵回归树可以表示成如下的数学形式 \[ f(x) = \sum_j^Tw_j\mathbf{I}(x\in R_j) \] 其中\(T\)为叶节点的个数,\(\mathbf{I}\)为指示函数. 回归树的参数学习 当给定树的结构的时候,即知道哪些点划分到哪些叶节点后,可以直接优化下式来获得参数 \[ \hat{R}(f) = \dfrac{1}{n}\sum_{i=1}^nL\left(y_i, \sum_{j=1}^Tw_j\mathbf{I}(

sklearn使用技巧 sklearn上面对自己api的解释已经做的淋漓尽致,但对于只需要短时间入手的同学来说,还是比较复杂的,下面将会列举sklearn的使用技巧. 预处理 主要在sklearn.preprcessing包下. 规范化: MinMaxScaler :最大最小值规范化 Normalizer :使每条数据各特征值的和为1 StandardScaler :为使各特征的均值为0,方差为1 编码: LabelEncoder :把字符串类型的数据转化为整型 OneHotEncoder :特

官方代码结构解析,README.MD XGboost 回归时,损失函数式平方误差损失 分类时,是对数自燃损失: Coding Guide ====== This file is intended to be notes about code structure in xgboost Project Logical Layout // 依赖关系,IO -> LEANER(计算梯度并且传导给GBM)-> GBM(梯度提升) -> TREE(构建树的算法) ======= * Dependen