Understanding Black-box Predictions via Influence Functions
@article{koh2017understanding,
title={Understanding black-box predictions via influence functions},
author={Koh, Pang Wei and Liang, Percy},
pages={1885--1894},
year={2017}}
概
本文介绍了如果计算(估计)损失关于样本的一些影响因子, 并介绍了一些应用范围.
主要内容
假设样本\(z_1,\ldots, z_n\), \(z_i = (x_i,y_i) \in \mathcal{X} \times \mathcal{Y}\), 通过最小化经验损失
\]
找到最优解.
且假设\(L\)关于样本和参数都是二阶可导且强凸的.
样本重要性分析
显然, 此时给定一个测试样本\(z_{test}\), 其对应的损失为\(L(z_{test},\hat{\theta})\), 那么衡量一个样本重要性的一个重要指标便是, 倘若在移除样本\(z\)的情况下重新训练模型, 对应的参数和损失的变化.
假设在移除样本\(z\)的情况下训练得到的最优参数为\(\hat{\theta}_{-z}\), 并引入
\]
易得\(\hat{\theta}_{-z} = \hat{\theta}_{-\frac{1}{n},z}\).
则
\mathcal{I}_{up, params} (z) := \frac{d \hat{\theta}_{\epsilon, z}}{d \epsilon}|_{\epsilon=0} = -H_{\hat{\theta}}^{-1} \nabla_{\theta} L(z, \hat{\theta}),
\]
其中\(H_{\theta}:= \frac{1}{n} \sum_{i=1}^n \nabla_{\theta}^2 L(z_i, \hat{\theta})\).
我们可以得到, 参数的变化量的一阶近似
\]
进一步, 我们定义损失的变化量
\begin{array}{ll}
\mathcal{I}_{up, loss} (z, z_{test})
& := \frac{dL(z_{test}, \hat{\theta}_{\epsilon, z})}{d \epsilon} |_{\epsilon = 0} \\
& = \nabla_{\theta} L(z_{test}, \hat{\theta})^T \frac{d \hat{\theta}_{\epsilon, z}}{d \epsilon} |_{\epsilon = 0} \\
& = -\nabla_{\theta} L(z_{test}, \hat{\theta})^T H_{\hat{\theta}}^{-1} \nabla_{\theta} L(z, \hat{\theta}).
\end{array}
\]
样本摄动对损失的影响
倘若我们对其中一个样本\(z\)添加一个扰动\(\delta\), 并在新的数据\(z_{\delta}:=(x+\delta,y)\)上训练, 得到模型, 其参数和损失会如何变化?
我们定义
\]
并令\(\hat{\theta}_{z_{\delta},-z}:= \hat{\theta}_{\frac{1}{n}, z_{\delta}, -z}\)
同样可以证明
\frac{d \hat{\theta}_{\epsilon, z_{\delta}, -z}}{d \epsilon} |_{\epsilon=0} = -H_{\hat{\theta}}^{-1} (\nabla_{\theta} L(z_{\delta}, \hat{\theta}) -\nabla_{\theta} L(z, \hat{\theta})).
\]
则
\]
故
\mathcal{I}_{pert, loss}(z, z_{test})^T:= \nabla_{\delta} L(z_{test}, \hat{\theta}_{z_{\delta},-z})^T \approx -\frac{1}{n} \nabla_{\theta} L(z_{test}, \hat{\theta})^T H_{\hat{\theta}}^{-1} \nabla_x \nabla_{\theta} L(z, \hat{\theta}).
\]
注:文章这里没有\(\frac{1}{n}\)且是等号(我卡在这个地方了, 推不出来).
高效计算\(H^{-1}\)
共轭梯度
此时我们不是计算\(H_{\hat{\theta}}^{-1}\), 而是计算\(s:=H_{\hat{\theta}}^{-1}v\), 比如在计算\(\mathcal{I}_{up, loss}\)的时候, \(v=\nabla_{\theta} L(z_{test}, \hat{\theta})\), 则对于固定的\(z_{test}\)想要知道不同的\(z_i\)的影响可以直接用\(s^T \nabla_{\theta} L(z_i, \hat{\theta})\), 避免了重复运算.
即求解
\]
假设第\(k\)步为
\]
则利用精确直线搜索
\]
得
\]
随机估计
这里是估计\(H_{\hat{\theta}}^{-1}\), 为了符号简便省略下表, 因为\(H^{-1}=\sum_{i=0}^{+\infty}(I-H)^i\), 用\(H_j^{-1}= \sum_{i=0}^j (I - H)^i\)表示前\(j+1\)项的和, 易知
\]
我们从样本中均匀挑选, 计算\(\nabla_{\theta}^2 L(z_i, \hat{\theta})\) 作为\(H\)的替代, 则
\]
当然, 处于稳定性的考虑, 我们可以一次性采样多个来作为\(H\)的替代.
一些应用
- 探索模型关于样本的内在解释, 即什么样的样本模型会更加偏好之类的;
- 生成对抗样本;
- 检测目标数据分布和训练分布是否一致;
- 检测训练数据的标签是否正确.
附录
(1)的证明
定义\(\Delta_{\epsilon}:= \hat{\theta}_{\epsilon, z}-\hat{\theta}\), 则
\]
由一阶最优条件可知
0= R(\hat{\theta}_{\epsilon, z}) + \epsilon \nabla_{\theta} L(z, \hat{\theta}_{\epsilon, z}),
\]
把\(\hat{\theta}_{\epsilon, \theta}\)看成自变量(固定\(\epsilon\)), 第二个等式右边是关于这个变量的一个函数, 则其在\(\hat{\theta}_{\epsilon, \theta}=\hat{\theta}\)处的泰勒展式为
\]
故
\]
因为\(\epsilon \rightarrow 0\), \(\Delta_{\epsilon} \rightarrow0\) 易知,
\]
最新文章
- C++设计模式-Observer观察者模式
- HttpContext.Current.User.Identity.IsAuthenticated
- 增加Android可用内存
- APP-PAY-06153 When Trying To Open Organization Definition Form (文档 ID 1323165.1)
- Effective Go ->; Interface
- Eslint配置
- 递归求6的阶乘(考虑int类型溢出)
- Houdini OpenCL
- mysql 二进包在linux下安装过程
- Maven 3.3全局配置
- Java多线程:Linux多路复用,Java NIO与Netty简述
- 【Mybatis】-- Mapper动态代理开发注意事项
- C语言中sizeof与strlen的区别
- PHP单点登陆
- ffmpeg综合应用示例(三)——安卓手机摄像头编码
- 图解vim常用命令
- 详细介绍Java中的堆和栈
- js 数据监听--对象的变化
- 安装Ubuntu 13.04后要做的六件事
- STS,MyEclipse中Maven配置
热门文章
- [Emlog主题] Monkey V3.0 优化修改
- 分配器——allocators
- UNIX基本命令
- 时间同步之pxe,cobbler,dhcp
- 【Linux】【Basis】用户、组和权限管理
- CSS font-size: 0去除内联元素空白间隙
- CF1581B Diameter of Graph 题解
- java 输入输出IO 转换流-字符编码
- RIP2与OSPFv2 动态路由协议区别
- wget 用法http://www.cnblogs.com/cy-8593/p/9523035.html