转自:https://zhuanlan.zhihu.com/p/79682292 风控业务背景 在风控中,稳定性压倒一切.原因在于,一套风控模型正式上线运行后往往需要很久(通常一年以上)才会被替换下线.如果模型不稳定,意味着模型不可控,对于业务本身而言就是一种不确定性风险,直接影响决策的合理性.这是不可接受的. 本文将从稳定性的直观理解.群体稳定性指标(Population Stability Index,PSI)的计算逻辑.PSI背后的含义等多维度展开分析. 目录Part 1. 稳定性的直观理

每每以为攀得众山小,可.每每又切实来到起点,大牛们,缓缓脚步来俺笔记葩分享一下吧,please~ --------------------------- 分箱法在实际案例操作过程中较为常见,能够将一些数据离散化,等级化,比如年龄段,我们并不想知道确切的几岁,于是乎可以将其分组.分段. 基础函数中cut能够进行简单分组,并且可以用于等宽分箱法. cut函数:cut(x, n):将连续型变量x分割为有着n个水平的因子.(参考来自: R语言︱数据集分组.筛选) [plain] view plain c

变量的KS值 KS(Kolmogorov-Smirnov)用于模型风险区分能力进行评估,指标衡量的是好坏样本累计部分之间的差距 .KS值越大,表示该变量越能将正,负客户的区分程度越大.通常来说,KS>0.2即表示特征有较好的准确率.强调一下,这里的KS值是变量的KS值,而不是模型的KS值.(后面的模型评估里会重点讲解模型的KS值).KS的计算方式: 计算每个评分区间的好坏账户数. 计算各每个评分区间的累计好账户数占总好账户数比率(good%)和累计坏账户数占总坏账户数比率(bad%). 计算每个

对数据集分箱的方式三种,等宽等频最优,下面介绍对数据集进行最优分箱,分箱的其他介绍可以查看其他的博文,具体在这就不细说了: 大体步骤: 加载数据: 遍历所有的feature, 分别处理离散和连续特征: 得到IV树: 递归遍历IV树,得到分割点构成的列表: 去掉不符合条件的分割点,得到最优分割点列表: 遍历最优分割点列表,将最优分割点信息注入到InfoValue对象中: 将每个特征构成的对象放到规则集中(是一个列表): 通过规则集对test进行WOE转换: 将规则集存一份到csv中,可以直观的查看

转载:https://zhuanlan.zhihu.com/p/38440477 转载:https://blog.csdn.net/starzhou/article/details/78930490 转载:https://www.cnblogs.com/wzdLY/p/9649101.html 1.离散的优势: (1)离散化后的特征对异常数据有很强的鲁棒性:比如一个特征是年龄>30是1,否则0.如果特征没有离散化,一个异常数据“年龄300岁”会给模型造成很大的干扰: (2)逻辑回归属于广义线性模

一.变量分箱 变量分箱常见于逻辑回归评分卡的制作中,在入模前,需要对原始变量值通过分箱映射成woe值.举例来说,如"年龄"这一变量,我们需要找到合适的切分点,将连续的年龄打散到不同的"箱"中,并按年龄落入的"箱"对变量进行编码. 关于变量分箱的作用,相关资料中的解释有很多,我认为变量分箱最主要有三个作用: 归一化:分箱且woe编码映射后的变量,可以将变量归一到近似尺度上: 引入非线性:对于逻辑回归这类线性模型,引入变量分箱可以增强模型的拟合能力:

1.聚合统计 1.1描述统计 #df.describe(),对数据的总体特征进行描述 df.groupby('team').describe() df.groupby('team').describe().T #列数太多,进行转置 1.2统计函数 #对分组对象直接使用统计函数,分组内数据进行计算,返回df形式的数据 #计算平均数 df.groupby('team').mean() #相关性系数 df.groupby('team').corr() #每组的累计最大值 df.groupby('tea

近段时间,华硕的处境可谓"冰火两重天".一方面,华硕正式发布ROG游戏手机.这款手机以超强性能和华丽外观,让游戏玩家群体为之沸腾.即使最高售价高达12999元,还是有不少玩家趋之若鹜--起码在京东上已经有2000多条领评价.但另一方面,华硕却遭遇到裁员.分拆业务之痛,整个企业面临组织架构大调整的尴尬节点. 事实上,不仅仅是华硕,宏碁.惠普.戴尔等传统PC企业都曾遭遇到不同程度的挫折.在它们的转型之路上,多次出现了战略层面的失误,进而导致企业一再遭受重创.或许对于这些传统PC企业来说,它

/* 题目: 学习成绩>=90 分的同学用 A 表示, 80-89 分之间的用 B 表示,70-79 分的用 C 表示, 60-69 分用 D表示,小于60分用E表示. 分析: 使用swith. 结论: 可以知道,对于两位数,'/10'操作与十位数有关;而'%10'操作与个位数(任意位数). */ char level_vTwo(int score) { ; switch (tmp) { : //90分以上或100分(满分). : return 'A'; : return 'B'; : retu

转摘:https://segmentfault.com/a/1190000015613967 本篇将继续上一篇数据分析之后进行数据挖掘建模预测,这两部分构成了一个简单的完整项目.结合两篇文章通过数据分析和挖掘的方法可以达到二手房屋价格预测的效果. 下面从特征工程开始讲述. 二.特征工程 特征工程包括的内容很多,有特征清洗,预处理,监控等,而预处理根据单一特征或多特征又分很多种方法,如归一化,降维,特征选择,特征筛选等等.这么多的方法,为的是什么呢?其目的是让这些特征更友好的作为模型的输入,处理数

由于模型是以特定时期的样本所开发的,此模型是否适用于开发样本之外的族群,必须经过稳定性测试才能得知.稳定度指标(population stability index ,PSI)可衡量测试样本及模型开发样本评分的的分布差异,为最常见的模型稳定度评估指针.其实PSI表示的就是按分数分档后,针对不同样本,或者不同时间的样本,population分布是否有变化,就是看各个分数区间内人数占总人数的占比是否有显著变化.公式如下: 这里的AC与EX为不同时间段的模型输出分数,如果PSI过大,说明模型输出的分数

Alink漫谈(十九) :源码解析 之 分位点离散化Quantile 目录 Alink漫谈(十九) :源码解析 之 分位点离散化Quantile 0x00 摘要 0x01 背景概念 1.1 离散化 1.2 分位数 1.3 四分位数 0x02 示例代码 0x03 总体逻辑 0x04 训练 4.1 quantile 4.2 countElementsPerPartition 4.3 MultiQuantile 4.4 QIndex 0x05 输出模型 0x06 预测 6.1 加载模型 6.2 预测

KS,AUC 和 PSI 是风控算法中最常计算的几个指标,本文记录了多种工具计算这些指标的方法. 生成本文的测试数据: import pandas as pd import numpy as np import pyspark.sql.functions as F from pyspark.sql.window import Window from pyspark.sql.types import StringType, DoubleType from pyspark.sql import Sp

目录 1.理解装箱 2.理解拆箱 3.生成的 IL 代码 4.实际应用 5.小结 1.理解装箱 简单地说,装箱就是将一个值类型的数据存储在一个引用类型的变量中. 假设你一个方法中创建了一个 int 类型的本地变量,你要将这个值类型表示为一个引用类型,那么就表示你对这个值进行了装箱操作,如下所示: static void SimpleBox() { int myInt = 25; // 装箱操作 object boxedInt = myInt; } 确切地说,装箱的过程就是将一个值类型分配给 Ob

我以前在写Android项目的时候,估计写得最多最熟练的几句话就是: List<Integer> list = new ArrayList<Integer>(); list.add(); //把一个整数加入到集合中 ); //从集合中取出元素 ArrayList用起来是多么的顺手!当时我只知道尖括号<>里面只能加入大写字母开头的Object类型,不能加入int.char.double这些原始类型,至于原因没研究过,这么规定就这么用呗. 但是随着对“码农”式无脑学习法的逐

1.概念 首先简单介绍一下概念性的东西: 所谓封箱:就是把基本类型封装成其所对应的包装类型: 而拆箱则恰好相反,是把包装类型转换成其所对应的基本数据类型. 如基本类型int,封箱后的包装类是Integer. 2.包装类的缓存值,equals与== 相信,大家对equals与==一定很熟悉了吧,同样,包装类也重写了equals方法,只要两个包装类对象所包装的基本类型数据是相等的,那么,则认为两个包装类对象是相等的: 然后,看一段简单的程序,并预测以下它的打印结果: public class Tes

装箱:值类型-->引用类型. 拆箱:引用类型-->值类型 装箱:把值类型拷贝一份到堆里.反之拆箱. 具有父子关系 是拆装箱的条件之一. 所以: class Program { static void Main(string[] args) { //不是装拆箱 (类型转换) ; string s = Convert.ToString(n); //根据值在堆里创建,不是复制 int m = int.Parse(s); //是装拆箱 ; object o = x; int y = (int)o; }

前言 公司最近在搞服务分离,数据切分方面的东西,因为单张包裹表的数据量实在是太大,并且还在以每天60W的量增长. 之前了解过数据库的分库分表,读过几篇博文,但就只知道个模糊概念, 而且现在回想起来什么都是模模糊糊的. 今天看了一下午的数据库分库分表,看了很多文章,现在做个总结,“摘抄”下来.(但更期待后期的实操) 会从以下几个方面说起: 第一部分:实际网站发展过程中面临的问题. 第二部分:有哪几种切分方式,垂直和水平的区别和适用面. 第三部分:目前市面有的一些开源产品,技术,它们的优缺点是什么.

显然是分数规划...主要是不会求分数的形式,看了题解发现自己好傻逼QAQ 还是二分L值算出d[]降序选K个,顺便记录选择时候的p之和与w之和就可以输出分数形式了... #include<iostream> #include<cstdlib> #include<cstring> #include<cstdio> #include<algorithm> #include<queue> #include<cmath> #incl

Java是一门多线程的语言,基本上生产环境的Java项目都离不开多线程.而线程则是其中最重要的系统资源之一,如果这个资源利用得不好,很容易导致程序低效率,甚至是出问题. 有以下场景,有个电话拨打系统,有一堆需要拨打的任务要执行,首先肯定是考虑多线程异步去执行.假如我每执行一个拨打任务都new一个Thread去执行,当同时有1万个任务需要执行的时候,那么就会新建1万个线程,加上线程各种初始销毁等操作,这个消耗是巨大的.而其实往往实现这些功能的时候,并不是完全需要实时马上完成,只是希望在可控范围内尽