本文是针对谷歌Transformer模型的解读,根据我自己的理解顺序记录的. 另外,针对Kyubyong实现的tensorflow代码进行解读,代码地址https://github.com/Kyubyong/transformer 这里不会详细描述Transformer的实现机理,如果有不了解Transformer的可以先阅读文章<Attention is all you need>,以及我列出的一些参考博客,都是不错的解读. Layer Normalization 首先是Layer Norm
tensorflow-gpu版本号 pip show tensorflow-gpu Name: tensorflow-gpu Version: 1.11.0 Summary: TensorFlow is an open source machine learning framework for everyone. Home-page: https://www.tensorflow.org/ Author: Google Inc. Author-email: opensource@google.c