今天看了一篇 ECML 14 的文章（如题），记录一下。

原文链接：http://link.springer.com/chapter/10.1007/978-3-662-44848-9_38

这篇文章提出了一个显式考虑 x 与 y 之间的相关性的 lasso 算法。

方法很简单，就是用 μ_j=(1 - |rho(a_j, y)|)² 作为回归系数 βj 的惩罚系数。

如下图：

所以每个回归系数的惩罚都不同，与 y 相关性越大的变量，惩罚系数 μ_j 就越小，相应的 βj 就越不可能为 0。

这篇文章的主要贡献在于给出了一个高效的迭代算法，并证明了其收敛性

（注意，这是一个凸问题，所以如果收敛则一定会收敛到全局最优）。

算法的初始化是对应 ridge regression 的解。

迭代就两步，如下图

算法的收敛性：证明了目标函数是非增的（non-increasing），即 L(α^(t+1)) ≤ L(α^(t)) 。

先证明了两个引理。

第一个引理定义了一个辅助函数

并证明 G(α^(t+1)) ≤ G(α^(t))。

第二个引理证明 L(α^(t+1)) - L(α^(t))  ≤ G(α^(t+1)) - G(α^(t)).

结合两个引理得出：L(α^(t+1)) - L(α^(t)) ≤ 0.

最后在两个基因数据（Colon Cancer Data 和 Leukemia Dataset）上实验。

最新文章

1. [LeetCode] Ugly Number 丑陋数
2. Multiprocessor Operating System Design Considerations SYMMETRIC MULTIPROCESSORS
3. netstrem获取302后的地址，可用来截图，加载实际跨域文件
4. 用super daemon xinetd进行安全配置
5. 浏览器URL编码
6. JAVA生成图片缩略图、JAVA截取图片局部内容
7. 计算机视觉code与软件
8. 有序线性搜索（Sorted/Ordered Linear Search）
9. ｡◕‿◕｡TMD
10. 神器Vim之命令介绍
11. leaflet 利用ajax 将前端地图上的数据post到后台
12. 0x00-Kali Linux 系列入门篇
13. mybatis代码生成器——MyBatis Generator
14. Ganglia监控扩展实现机制
15. UVA11324 The Largest Clique (强连通缩点+DP最长路)
16. We FALL ASleep At Night, We Do REST Right
17. mac上mysql root密码忘记或权限错误的解决办法
18. leetcode-algorithms-22 Generate Parentheses
19. tomcat7部署多个web应用不同编码，端口
20. DLL中不能调用CoInitialize和CoInitializeEx

热门文章

1. [LeetCode] 47. 全排列 II
2. P1397 [NOI2013]矩阵游戏（递推）
3. mongodb启动报错，child process failed, exited with error number 1
4. Lock和synchronized的区别和使用(转发)
5. 基于Red5与ffmpeg实现rtmp处理NVR或摄像头的监控视频处理方案
6. Docker其他操作：查看内部细节、IP、删除容器
7. MIT-线性代数公开课
8. CCPC-Wannafly Winter Camp Day1 流流流动 （树形dp）
9. CCPC-Wannafly Winter Camp Day1 (Div2, onsite) 夺宝奇兵
10. L3-006. 迎风一刀斩