various Sequence to Sequence Model
2024-10-18 19:23:18
1. A basic LSTM encoder-decoder.
Encoder:
X 是 input sentence. C 是encoder 产生的最后一次的hidden state, 记作 Context Vector.
\[C=LSTM(X).\]
Decoder:
每次的输出值就是下一次的输入值, 第一次的输入值就是 encoder 产生的 Context Vector. Encoder最后输出的 hidden state 通常用来初始化 Decoder的 $y_{0}$.
基本公式:
\[y_{0} = LSTM(s_{0}, C);\]
$C$ 就是encoder 产生的 context vector.
\[y_t = LSTM(s_{t-1}, y_{t-1});\]
$s$ 是LSTM的 hidden state 状态 LSTM ($h$ and $c$).
\[s_t=[h_t,c_t]\]
2. A basic LSTM encoder-decoder with peek.
Encoder部分与上面相同。Decoder部分,每次的输入值为${s_{t-1},y_{t-1},C}$. 这边的peek value就是 每次迭代的时候都将 Context Vector作为输入。
初始化: \[y(0) = LSTM(s0, C, C)\]
每次的迭代公式: \[y(t) = LSTM(s(t-1), y(t-1), C)\]
最新文章
- Bounce.js – 快速创建漂亮的 CSS3 动画效果
- JAVA SE 803 考试前突击
- WP8.1&;Win10幸运大转盘源码分享
- zoj2132-The Most Frequent Number
- log4j.property配置
- classic asp中使用ADODB.Command防止sql injection
- Android启动脚本init.rc(2)
- IOS之富文本编辑 分类: ios技术 2015-03-06 22:51 89人阅读 评论(0) 收藏
- nginx+uwsgi+django 部署原理
- [Swift]LeetCode556. 下一个更大元素 III | Next Greater Element III
- linux 下安装ftp 并远程连接
- Java RMI 使用例子
- Tomcat启动startup.bat闪退和JRE_HOME错误
- normalize.css 中文版
- 【Linux】字符转换命令paste
- mysq在某一刻同时获取主从库的位置点
- nvm-windows的安装配置
- 作业:WordCount--实现字符数,单词数,行数的统计
- Understanding the Bias-Variance Tradeoff
- jquery遍历集合&;数组&;标签