Masked Gradient-Based Causal Structure Learning
概
非线性, 自动地学习因果图.
主要内容
NOTEARS将有向无环图凝练成了易处理的条件, 本文将这种思想扩展至非线性的情况:
\]
其中\(X_i\)是因果图的结点, \(X_{\mathrm{pa}(i)}\)是其父结点, \(\epsilon\)是无关的噪声.
上述等式等价于
\]
\(A_i\)是邻接矩阵\(A=[A_1|A_2|\cdots|A_d] \in \{0, 1\}^{d\times d}\)的第i列, \(A_{ij}=1\)表示结点\(X_i\)直接作用于\(X_j\).
所以本文的目标就可以转换为如何估计\(A\)(实际上有了\(A\)也就知道了因果图了). \(A\)应当满足的条件:
- \(A\) 能够表示有向无环图;
- \(X_i\) 和 \(f(A_i \circ X)\)必须接近, 比如用常见的
\]
来度量.
直接处理非常麻烦, 首先对上面的问题进行放松, 等价于
\]
此时\(A = \mathcal{A}(W)\), 即
W_{ij} = 0 \rightarrow A_{ij} = 0.
\]
本文更进一步, 令
\]
\]
其中
\]
注: Gumbel.
此类操作能保证\(g_{\tau}(U) \in (0, 1)^{d\times d}\), 此时能够把\([g_{\tau}(U)]_{ij}\)看成是\(X_i\), \(X_j\)的关系的紧密型的度量, 在这种情况下
\]
或许会问, 为什么不用sigmoid而用一个这么麻烦的东西, 原因是当\(\tau\)足够小的时候(如本文取的0.2), \([g_{\tau}(U)]_{ij}\)非常接近\(0\)或者\(1\), 而用sigmoid, 作者发现这些值都接近0, 不能很好的模拟有向无环图, 故采用了这个方案.
接下来, 只需要满足
\]
即可保证\(g_{\tau}(U)\)能够代表有效无环图. 在实际中, 只需
\]
注: 期望是关于\(g\)的.
最终的目标
总结下来,
\mathrm{s.t.} \quad \mathbb{E}_g[\mathrm{tr}(e^{g_{\tau}(U)}) - d] \le \xi.
\]
注: \(\mathbb{E}\)是关于\(g\)的, \(n\)的观测数据的总数.
进一步地, 我们希望\(g_{\tau}\)是稀疏的, 故加上正则化项:
\mathrm{s.t.} \quad \mathbb{E}_g[\mathrm{tr}(e^{g_{\tau}(U)}) - d] \le \xi.
\]
利用augmented Lagrange multiplier, 可得
\mathbb{E}_g[\frac{1}{2n} \sum_{k=1}^n \mathcal{L}(x^{(k)}, f(g_{\tau}, x^{(k)}; \theta)) + \lambda \|g_{\tau}(U)\|_1 + \alpha h(U)] + \frac{\rho}{2} (\mathbb{E}[h(U)])^2,
\]
其中\(h(U):= \mathrm{tr}(e^{g_{\tau}(U)}) - d\).
采用分布更新:
\alpha^{t+1} = \alpha^t + \rho^t \mathbb{E}[h(U^{t+1})]; \\
\rho^{t+1} = \left \{
\begin{array}{ll}
\beta \rho^t, & \mathrm{if} \: \mathbb{E}[h(U^{t+1})] \ge \gamma \mathbb{E}[h(U^t)], \\
\rho^t, & \mathrm{otherwise}.
\end{array} \right .
\]
其中第一步使用Adam执行1000次迭代计算的.
文中还讨论了后处理的一些方法, 和\(A\)是否唯一.
代码
最新文章
- MySQL 指定各分区路径
- 网络模拟器WANem使用配置图文教程
- Servlet3.0的新特性
- poj 2446 二分图最大匹配
- JS错误:Uncaught SyntaxError: Unexpected token ILLEGAL
- WPF 杂谈——开篇简言。
- 调参过程中的参数 学习率,权重衰减,冲量(learning_rate , weight_decay , momentum)
- Node.js基础学习四之注册功能
- Notes on Distributed System -- Distributed Hash Table Based On Chord
- 正则 ?<;= 和 ?= 用法,范例
- HTML学习笔记05-文本格式化
- 使用apidoc 生成Restful web Api文档——新手问题与解决方法
- zabbix web 配置
- 从 shell 眼中看世界
- Number Clicker CodeForces - 995E (中途相遇)
- swift - VFL
- ado.net中事务的使用
- VMware 12安装虚拟机Mac OS X 10.10(VMware12安装/共享文件夹)
- VMware ESXi NAT实现
- java-银行卡基本信息查询