Masked Label Prediction: Unified Message Passing Model for Semi-Supervised Classification
背景
消息传递模型(Message Passing Model)基于拉普拉斯平滑假设(领居是相似的),试图聚合图中的邻居的信息来获取足够的依据,以实现更鲁棒的半监督节点分类。
图神经网络(Graph Neural Networks, GNN)和标签传播算法(Label Propagation, LPA)均为消息传递算法,其中GNN主要基于传播特征来提升预测效果,而LPA基于迭代式的标签传播来作预测。
一些工作要么用LPA对GNN预测结果做后处理,要么用LPA对GNN进行正则化。但是,它们仍不能直接将GNN和LPA有效地整合到消息传递模型中。
为解决这个问题,本文提出了统一消息传递模型(UNIMP)[1],它可以在训练和推理时结合特征和标签传播。UniMP基于两个简单而有效的想法:
- 将特征嵌入和标签嵌入同时作为输入信息进行传播
- 随机掩码部分标签信息,并在训练时对其进行预测
UniMP在概念上统一了特征传播和标签传播,具有强大的经验能力。
实现
关键部分
- 将标签进行嵌入(原有的C类One-hot标签,通过线性变换成与原始节点特征相同的维度)。
- 然后,将标签嵌入和节点特征相加作为GNN输入。
为避免训练时使用标签导致标签泄露,这里使用了掩码标签训练的策略。每个Epoch随机将训练集中部分节点的标签置(掩码)0(视为训练监督信号),然后利用节点特征 \(\mathbf{X}\) 和 \(\mathbf{A}\)以及剩余的标签去预测被掩码的标签)。
模型部分
UniMP中使用了GraphTransformer(Transformer中的Q、K、V注意力形式,加上边特征),同时引入了H-GCN的门控残差机制来缓解过平滑。
个人实验
将标签作为输入,在ArixV数据集节点分类任务上,能在小数点后第2位提升接近2个点。
在论文BOT[2]中也对标签作为输入做了阐述,其作者还发表了相应的论文来论证标签作为输入的有效性的原因。
总结
标签有效的直觉就是,在图上的节点分类任务中,邻居标签也是预测目标节点标签的关键特征(这也和标签传播的思想一致)
标签嵌入和掩码标签预测是提升节点分类任务简单有效的方法。
参考文献
[1] Masked Label Prediction: Unified Message Passing Model for Semi-Supervised Classification
[2] Bag of Tricks for Node Classification with Graph Neural Networks
2022-10-29 11:10:13 星期六
最新文章
- [jquery]显示隐藏div标签的几种方法
- 【hadoop】如何向map和reduce脚本传递参数,加载文件和目录
- Windows远程数据同步工具cwRsync
- jQuery Mobile 表单输入元素
- ie7下<;a>;<;/a>;标签不反应
- codevs 1001 舒适的路线(Kruskal)
- 第二课:判断js变量的类型以及domReady的原理
- nrf51822裸机教程-硬件timer
- javascript 中 typeof 的使用
- 关于进程间通信的总结(IPC)
- firebug登陆之数据包分析
- 简说一下coffeescript的constructor是如何导致Backbone.View的事件无法正常工作的.
- 【多重背包】HDU 2191 悼念512汶川大地震遇难同胞——珍惜现在,感恩生活
- BOS物流管理系统-第五天
- KMP算法 --- 在文本中寻找目标字符串
- Centos samba 服务配置
- mysql学习基础知识3
- 英语口语练习系列-C03-常用问句
- dns相关
- bits change world
热门文章
- 基础2:js创建对象的多种方式
- kafka手动设置offset
- Downie for Mac最强视频下载工具(支持B站优酷土豆腾讯等)
- 【Java】学习路径52-Timer计时器实例
- 浅析websocket的基本应用spring boot + vue +C# + WPF
- CF -1679C
- 记一次python + selenium小项目出现的问题与解决办法
- 第六十六篇:Vue的watch侦听器
- 大家都能看得懂的源码之ahooks useInfiniteScroll
- 【原创】K8S环境下研发如何本地调试?kt-connect使用详解