在线学习 online learning

Online learning并不是一种模型,而是模型的训练方法。能够根据线上反馈数据,实时快速的进行模型调优,使得模型能够及时反映线上的变化,提高线上预测的准确率。

在线模型的评估之--Mistake Bound

假设有一个模型完全预测正确,Mistake Bound表示的就是找到这个模型最多犯错的次数。

用Halving算法来解决这个问题,算法步骤如下:

所以犯错次数小于等于对模型集合数量求以2为底的对数。

在线模型的评估之--Regret 后悔度

Regret的求解举例

Regret练习:

在线学习模型的有效必要条件就是

Online Learning训练过程也需要优化一个目标函数(红框标注的),但是和其他的训练方法不同, Online Learning要求快速求出目标函数的最优解,最好是能有解析解。

在线学习流程:
Learning的流程包括:将模型的预测结果展现给用户,然后收集用户的反馈数据,再用来训练模型,形成闭环的系统。

在线学习模型之FTRL--Follow The Regularized Leader

算法基本思想:

在这里最后一步更新w的时候需要找到使得损失函数之和最小的w,在线学习是速度需要很快,但是一般这个损失函数不是很快可以求解的,需要找到一个代理的损失函数,使得损失函数可以快速求解。代理损失函数需要满足几个要求:
1.代理损失函数比较容易求解,最好是有解析解
2.Regret满足

关于次梯度

ftrl相关学习资料

最新文章

  1. scikit-learn包的学习资料
  2. 关于TortoiseGit使用的心得
  3. thinkphp新增
  4. 迭代器(Iterator)模式
  5. 【Linux常用工具】02. 创建启动定时任务工具cron
  6. Apache Tomcat 7.0 Manager APP
  7. python3 正则表达式点星问号(.*?)能不能匹配换行符?不能的话应该怎么写
  8. siimpleHttpServer 快速建立一个文件服务器
  9. FFmpeg configure: rename cuda to ffnvcodec 2018-03-06
  10. WPF 通过线程使用ProcessBar
  11. Eclipse启动时出现错误 An internal error occurred during: "Updating indexes"
  12. java多线程快速入门(五)
  13. 自动出借-python+selenium
  14. optimizer(代码分析)
  15. 快速导出云服务器mysql的表数据
  16. Web大前端面试题-Day3
  17. 009-hostname与/etc/hosts区别
  18. 剑指offer五十八之对称的二叉树
  19. Oracle案例12——NBU Oracle恢复
  20. go 网络请求篇

热门文章

  1. Shell脚本中$0、$?、$!、$$、$*、$#、$@等的意义
  2. 我学cocos2d-x (三) Node:一切可视化对象的祖先
  3. js里面setInterval和setTimeout相同点和区别
  4. PHP-Yii框架下提交表单form防止csrf攻击
  5. JS AJAX传递List数组到后台(对象)
  6. 常用的vue辅助工具vue-devtools
  7. sencha touch 入门系列 (九)sencha touch 视图组件简介
  8. poj3744 Scout YYF I[概率dp+矩阵优化]
  9. Lucene4.x创建索引与3.x的一些不同
  10. 什么是runtime?什么是webgl?