MLP-Mixer: An all-MLP Architecture for Vision 纯MLP架构
2024-09-08 17:31:51
典型的MLP结构包括三层:input、hidden、output。不同层之间都是全联接的。
MLP-Mixer完全利用基础的矩阵乘法运算和数据变换以及非线性层来完成复杂数据集的分类任务。
Step 1:将图像转成token作为后续模型的输入(该过程与ViT一致)
MLP-Mixer可以靠channel-mixing MLPs层结合不同channels的信息,也可以靠token-mixing MLPs层结合不同空间位置的信息。
MLP1是token-mixing MLPs,在输入的列上操作,即对输入进行转置,所有列共享参数,得到的输出再次转置;MLP2是channel-mixing MLPs作用在输入的行上,共享参数MLP2
Step 2: 经过Mixer layer之后进入分类头
补充:MLP-Mixer没有使用位置编码信息,是因为Mixer layer的两种MLP对输入顺序比较敏感。
最新文章
- [自翻]fasthttp中文文档(持续更新)
- GPG终极指南(加密/签名)
- 调用mybatis generator已经生成好的dao来查询例子
- 03、AngularJs的模块与控制器
- 虚拟化平台cloudstack(8)——从UI开始
- 订阅Jenkins的邮件列表,获取最新的信息
- python之路一
- JAVA利用JXL导出/生成 EXCEL
- mysql服务器的字符集
- 移动H5页面,keyup事件不好使用处理解决
- pch和info.plist初探
- LayoutInflater (转)
- css3-动画(animation)
- SQL查找指定行的记录
- MariaDB 连接查询与子查询(6)
- HashMap几个需要注意的知识点
- Oracle 性能调优
- MVC扩展Url.Action方法解决复杂对象参数问题
- Clojure 的 Enlive 库尝试
- php学习四:数组(一)
热门文章
- 请求浏览器重新加载数据/返回前端Json 数据
- Linux下clang、gcc、intel编译器最新版本安装笔记
- 登录他人mysql
- corkscrew在ssh中发生错误
- Error building Player because scripts had compiler errors
- DoTween结束后删除对象
- gdb 常用命令总结
- Prometheus API说明
- 前后端API交互数据加密——AES与RSA混合加密完整实例(转载)
- E: 无法获得锁 /var/lib/apt/lists/lock - open (11: 资源暂时不可用)E: 无法对目录 /var/lib/apt/lists/ 加锁