谷歌在文章<Attention is all you need>中提出的transformer模型.如图主要架构:同样为encoder-decoder模式,左边部分是encoder,右边部分是decoder.TensorFlow代码:https://www.github.com/kyubyong/transformer 用 sentencepiece 进行分词. Encoder 输入 初始输入为待翻译语句的embedding矩阵,由于句子长度不一致,需要做统一长度处理,长度取maxlength
Transformer模型由<Attention is All You Need>提出,有一个完整的Encoder-Decoder框架,其主要由attention(注意力)机制构成.论文地址:https://arxiv.org/abs/1706.03762. 其整体结构如图所示: 模型分为编码器(Encoder)和解码器(Decoder)两部分,包含内部结构的总体结构如下图所示: 图二 在论文中编码器部分由6个相同编码器叠在一起,解码器部分也是由6个相同解码器叠在一起,编码器之间不共享参数.(
上一章我们聊了聊quick-thought通过干掉decoder加快训练, CNN-LSTM用CNN作为Encoder并行计算来提速等方法,这一章看看抛开CNN和RNN,transformer是如何只基于attention对不定长的序列信息进行提取的.虽然Attention is All you need论文本身是针对NMT翻译任务的,但transformer作为后续USE/Bert的重要组件,放在embedding里也没啥问题.以下基于WMT英翻中的任务实现了transfromer,完整的模型
1. Transformer模型 在Attention机制被提出后的第3年,2017年又有一篇影响力巨大的论文由Google提出,它就是著名的Attention Is All You Need[1].这篇论文中提出的Transformer模型,对自然语言处理领域带来了巨大的影响,使得NLP任务的性能再次提升一个台阶. Transformer是一个Seq2Seq架构的模型,所以它也由Encoder与Decoder这2部分组成.与原始Seq2Seq 模型不同的是:Transformer模型中没有RN
Transformer原理 论文地址:Attention Is All You Need:https://arxiv.org/abs/1706.03762 Transformer是一种完全基于Attention机制来加速深度学习训练过程的算法模型.Transformer最大的优势在于其在并行化处理上做出的贡献. Transformer抛弃了以往深度学习任务里面使用到的 CNN 和 RNN ,目前大热的Bert就是基于Transformer构建的,这个模型广泛应用于NLP领域,例如机器翻译,问答系
Albert是A Lite Bert的缩写,确实Albert通过词向量矩阵分解,以及transformer block的参数共享,大大降低了Bert的参数量级.在我读Albert论文之前,因为Albert和蒸馏,剪枝一起被归在模型压缩方案,导致我一直以为Albert也是为了优化Bert的推理速度,但其实Albert更多用在模型参数(内存)压缩,以及训练速度优化,在推理速度上并没有提升.如果说蒸馏任务是把Bert变矮瘦,那Albert就是把Bert变得矮胖.最近写的文本分类库里加入了Albert预
这一章我们来唠唠如何优化BERT对文本长度的限制.BERT使用的Transformer结构核心在于注意力机制强大的交互和记忆能力.不过Attention本身O(n^2)的计算和内存复杂度,也限制了Transformer在长文本中的应用. 之前对长文档的一些处理方案多是暴力截断,或者分段得到文本表征后再进行融合.这一章我们看下如何通过优化attention的计算方式,降低内存/计算复杂度,实现长文本建模.Google出品的Efficient Transformers: A Survey里面对更高效
之前的博文已经介绍了CNN的基本原理,本文将大概总结一下最近CNN在NLP中的句子建模(或者句子表示)方面的应用情况,主要阅读了以下的文献: Kim Y. Convolutional neural networks for sentence classification[J]. arXiv preprint arXiv:1408.5882, 2014. Kalchbrenner N, Grefenstette E, Blunsom P. A convolutional neural networ
本文来自<ArcFace: Additive Angular Margin Loss for Deep Face Recognition>,时间线为2018年1月.是洞见的作品,一作目前在英国帝国理工大学读博. CNN近些年在人脸识别上效果显著,为了增强softmax loss的辨识性特征学习能力,Sphereface提出的multiplicative angular margin,参考文献[43,44]提出的additive cosine margin等分别通过将角度边际和余弦边际整合到lo