TF分布式问题
2024-09-05 22:57:07
碰到一个没解决的问题。 用tensorflow 分布式异步更新模式训练模型, 模型中带正则项, 每个batch的损失函数为
\[\lambda \|W\|_1 + \frac 1 {N_j} \sum_i^{N_j} {\rm logloss}(x_i,y_i, W) \]
发现迭代稳定后， 正则项大小\(\lambda \|W\|_1\)与worker个数\(n\)成正比。 相当于求解
\[ \lambda \|W\|_1 + \frac n {N_j} \sum_i^{N_j} {\rm logloss}(x_i,y_i, W) \]
原因没想清楚， 留着后面思考。
最新文章
- 个人作业-week2：关于微软必应词典的案例分析
- apache服务器启动时提示httpd: apr_sockaddr_info_get() failed for
- .Net开源微型ORM框架测评
- Apache Commons 常用工具类整理
- APT工作原理
- Linux内核学习笔记2
- 使用angular的ng-repeat遇到的一个问题
- VMware下LINUX的虚拟机增加磁盘空间
- fckeditor使用详解
- poj 1684 Lazy Math Instructor(字符串)
- thinkphp5URL和路由
- iOS SVN出现的问题，在mac使用Cornerstone中无法提交提交失败处理。。。
- SpringMVC图片上传与显示
- CentOS 7.0 启动多个MySQL实例(mysql-5.7.21)
- 大数据 --> 淘宝异构数据源数据交换工具 DataX
- Mac编译RocketMQ 4.1.0
- Centos 配置eth0 提示Device does not seem to be present
- hdu 1263 水果 【二维map】
- Knockout.Js官网学习（模版绑定）
- ExtJS动态创建组件