论文解读(ToAlign)《ToAlign: Task-oriented Alignment for Unsupervised Domain Adaptation》
论文信息
论文标题:ToAlign: Task-oriented Alignment for Unsupervised Domain Adaptation
论文作者:Guoqiang Wei, Cuiling Lan, Wenjun Zeng, Zhizheng Zhang, Zhibo Chen
论文来源:NeurIPS 2021
论文地址:download
论文代码:download
1 域对抗介绍
域对抗思想:
$\begin{array}{l}\underset{D}{\operatorname{argmin}} \mathcal{L}_{D} \\\underset{G}{\operatorname{argmin}} \mathcal{L}_{c l s}-\mathcal{L}_{D} \\\end{array}$
即:
- $\mathrm{D}$ 被优化使 $\mathcal{L}_{D}$ 最小;
- $G$ 被优化使 $\mathcal{L}_{cls}$ 最小、$\mathcal{L}_{D}$ 最大;
Note:
$\mathcal{L}_{D}\left(\mathbf{X}_{s}, \mathbf{X}_{t}\right)=-\mathbb{E}_{\mathbf{x}_{s} \sim \mathbf{X}_{s}}\left[\log \left(D\left(G\left(\mathbf{x}_{s}\right)\right)\right)\right]-\mathbb{E}_{\mathbf{x}_{t} \sim \mathbf{X}_{t}}\left[\log \left(1-D\left(G\left(\mathbf{x}_{t}\right)\right)\right)\right]$
2 引入
当前工作的限制:现在存在的对齐方式没有刻意的设计为最终的分类任务服务。
对比:
分类任务本质:训练网络提取类鉴别特征 ===》本文:将目标特征与 任务区分源特征[类信息] 对齐 ,而忽略与任务无关的源特征;
Figure1 (a) :
- 域对齐任务与分类任务是并行的;
- 思想:通过学习域不变特征,减少域间隙,使得在源域上训练的分类器能有效的使用到目标域;
- 缺点:简单的域对齐,可能污染分类特征;
3 方法
3.1 工作对比
对比如下:
- $f^{t}$ 代表目标域特征;
- $f^{s}$ 代表源域分类特征,$f^{s}_{n}$ 代表源域任务无关特征,$f^{s}_{p}$ 代表源域任务相关特征;
3.2 ToAlign 方法介绍
3.2.1 任务相关源特征
分类器分类权重:
$\mathbf{w}^{c l s}=\frac{\partial y^{k}}{\partial \mathbf{f}}$
任务相关特征:
$\mathbf{f}_{p}=\mathbf{w}_{p}^{c l s} \odot \mathbf{f}=s \mathbf{w}^{c l s} \odot \mathbf{f}$
$ s=\sqrt{\frac{\|\mathbf{f}\|_{2}^{2}}{\left\|\mathbf{w}^{c l s} \odot \mathbf{f}\right\|_{2}^{2}}}=\sqrt{\frac{\sum_{m=1}^{M} f_{m}^{2}}{\sum_{m=1}^{M}\left(w_{m}^{c l s} f_{m}\right)^{2}}}$
Note:任务无关特征可以表示为 $\mathbf{f}_{n}=-\mathbf{w}_{p}^{c l s} \odot \mathbf{f}$,其中 $-\mathbf{w}_{p}^{c l s}$ 会小,与任务相关的有较大的 $\mathbf{w}_{p}^{c l s}$;
3.2.2 类级域对抗
对抗:
$\mathcal{L}_{D}\left(\mathbf{X}_{s}, \mathbf{X}_{t}\right)=-\mathbb{E}_{\mathbf{x}_{s} \sim \mathbf{X}_{s}}\left[\log \left(D\left(G^{p}\left(\mathbf{x}_{s}\right)\right)\right)\right]-\mathbb{E}_{\mathbf{x}_{t} \sim \mathbf{X}_{t}}\left[\log \left(1-D\left(G\left(\mathbf{x}_{t}\right)\right)\right)\right]$
其中,$G^{p}\left(\mathbf{x}_{s}\right)=\mathbf{f}_{p}^{s}$ 表示源 $\mathbf{x}_{s}$ 的正特征。
最新文章
- raspberrypi(树莓派)上安装mono和jexus,运行asp.net程序
- QDialog QMainwindow QWidget QFrame不同时候用法.
- js正则表达式学习
- C++开发的基于TCP协议的内网聊天工具
- redis 列出所有的键
- 李洪强iOS经典面试题125
- [转]EXCEL如何使用动态公式
- R语言书籍的学习路线图
- WEB开发原则
- objective-III 窗口应用程序
- 敏捷开发(十一)- Scrum Sprint评审会议
- iOS APP之间到跳转,以及热门应用,手机自带到应用跳转
- JAVA学习笔记(4)—— 排序算法
- 将MD5值压缩成8位32进制生成8位长度的唯一英文数字组合字符串
- pt-kill 用法记录
- 细说python类2——类动态添加方法和slots(转)
- Java中的日期格式转化
- Hadoop -- ES -- CURD
- 编译opencv python
- (转)Android学习-使用Async-Http实现图片压缩并上传功能