典型的MLP结构包括三层:input、hidden、output。不同层之间都是全联接的。

MLP-Mixer完全利用基础的矩阵乘法运算和数据变换以及非线性层来完成复杂数据集的分类任务。

Step 1:将图像转成token作为后续模型的输入(该过程与ViT一致)

     

MLP-Mixer可以靠channel-mixing MLPs层结合不同channels的信息,也可以靠token-mixing MLPs层结合不同空间位置的信息。

MLP1是token-mixing MLPs,在输入的列上操作,即对输入进行转置,所有列共享参数,得到的输出再次转置;MLP2是channel-mixing MLPs作用在输入的行上,共享参数MLP2

Step 2: 经过Mixer layer之后进入分类头

补充:MLP-Mixer没有使用位置编码信息,是因为Mixer layer的两种MLP对输入顺序比较敏感。

最新文章

  1. [自翻]fasthttp中文文档(持续更新)
  2. GPG终极指南(加密/签名)
  3. 调用mybatis generator已经生成好的dao来查询例子
  4. 03、AngularJs的模块与控制器
  5. 虚拟化平台cloudstack(8)——从UI开始
  6. 订阅Jenkins的邮件列表,获取最新的信息
  7. python之路一
  8. JAVA利用JXL导出/生成 EXCEL
  9. mysql服务器的字符集
  10. 移动H5页面,keyup事件不好使用处理解决
  11. pch和info.plist初探
  12. LayoutInflater (转)
  13. css3-动画(animation)
  14. SQL查找指定行的记录
  15. MariaDB 连接查询与子查询(6)
  16. HashMap几个需要注意的知识点
  17. Oracle 性能调优
  18. MVC扩展Url.Action方法解决复杂对象参数问题
  19. Clojure 的 Enlive 库尝试
  20. php学习四:数组(一)

热门文章

  1. 请求浏览器重新加载数据/返回前端Json 数据
  2. Linux下clang、gcc、intel编译器最新版本安装笔记
  3. 登录他人mysql
  4. corkscrew在ssh中发生错误
  5. Error building Player because scripts had compiler errors
  6. DoTween结束后删除对象
  7. gdb 常用命令总结
  8. Prometheus API说明
  9. 前后端API交互数据加密——AES与RSA混合加密完整实例(转载)
  10. E: 无法获得锁 /var/lib/apt/lists/lock - open (11: 资源暂时不可用)E: 无法对目录 /var/lib/apt/lists/ 加锁