Word2Vec小心得
2024-10-07 02:06:43
今天终于想明白了分层softmax的作用：
哈夫曼树的作用是什么？？用平均最小的长度编码！编码是为了解码成信息！
神经概率语言模型：有映射层，隐藏层，输出层，假设隐藏层是300维，输出层是和单词的数量相等的，因为传统Softmax的原因，比如有10000的词，那么参数就是300*10000=3000000 300万。。每次更新更300万的参数，速度可想而知。
刚开始我想把它变成树，每个非叶子节点的300维，非叶子节点的个数为叶子节点的个数-1=9999，300*9999=2999700，并没有减少参数，但是，每次更新的参数确是极大减少了，平均为logN=100 100*300=30000
所以层次的作用在于加速和快速寻找词。
最新文章
- 【开源】玩的就是开源 - DevFw
- 关于php cgi的配置
- BZOJ 4544: 椭圆上的整点
- thrift 安装介绍
- Hadoop 相关链接
- 使用JS创建表格以及隔行换色（包括隔N行换色）
- Java 下实现锁无关数据结构--转载
- CentOS 6.4 64位 源码编译hadoop 2.2.0
- ArcGIS Engine DEM拉伸渲染
- TypeError: document.getELementById is not a function
- [iOS]C语言技术视频-05-程序循环结构(do{}while();)
- session熟知
- 用存储过程向数据库添加大量数据【mysql】
- 【数学建模】MATLAB语法
- Python 实现 动态规划 /斐波那契数列
- 不是说记住rm -rf的教训就够了
- Entity Framework DbSet<T>之Include方法与IQueryable<T>扩展方法Include的使用
- 8-1 Stacks of Flapjacks UVA120
- A start job is running for /etc/rc.d/rc.local ... ... no limit
- Routing Manager for WCF4 z