建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
请选择 进入手机版 | 继续访问电脑版
设置昵称

在此一键设置昵称,即可参与社区互动!

确定
我再想想
选择版块
直达楼层
标签
您还可以添加5个标签
  • 没有搜索到和“关键字”相关的标签
  • 云产品
  • 解决方案
  • 技术领域
  • 通用技术
  • 平台功能
取消

采纳成功

您已采纳当前回复为最佳回复

角动量

发帖: 218粉丝: 8

发消息 + 关注

发表于2021年02月24日 21:14:57 397 3
直达本楼层的链接
楼主
显示全部楼层
[其他] 同源共流:一个优化框架统一与解释图神经网络

image.png


题目: Interpreting and Unifying Graph Neural Networks with An Optimization Framework

会议: WWW 2021

论文链接: https://arxiv.org/pdf/2101.11859.pdf

  1. 百花齐放的图神经网络,是否遵循了某种一致的设计思想?

  2. 图神经网络的不同传播机制背后,是否能用一套规则统一与解释?

  3. 如若发现这种规则,又能对我们理解与设计新的图神经网络带来何种启发?

图神经网络(GNNs)在各种图分析任务中得到了广泛的关注,设计良好的消息传播机制是GNNs中最基本的组成部分,并且被证明是十分有效的。虽然传播机制多种多样,但基本上都是以沿网络拓扑传播聚合节点特征的方式来利用拓扑特征这两种信息的。鉴于此,一个问题自然会被提出:尽管不同图神经网络有不同的传播策略,是否存在统一的数学准则,能够从本质上指导着不同的传播机制?如果有的话,是什么?对这个问题较为完善的回答,可以帮助我们从宏观的角度考察不同图神经网络之间的关系与差异。这样的数学准则一旦被发现,就能够帮助我们发现现有图神经网络的不足之处,进而激发更多新的图神经网络被设计出来。

本文中,我们首先分析了几个具有代表性的图神经网络(例如GCN,SGC,PPNP)的传播过程,并抽象出他们的共性。我们发现它们均可以归结到一个统一的优化目标框架下,该优化目标由一个带有灵活图卷积核的特征拟合约束项和一个图拉普拉斯正则项组成。特征拟合约束项旨在建立节点表示与原始节点特征之间的关系,而图拉普拉斯正则项则起到拓扑平滑特征的作用。而对应图神经网络传播后的节点表示则可以隐式地看做这个统一优化目标的最优解。

同时,基于该统一优化目标框架也较容易发现现有图神经网络传播策略的不足之处,为设计新的图神经网络也提供了机会。通常来说,设计新的图神经网络往往侧重于设计特定的谱图滤波器或者空域聚合策略,而该统一框架为实现这一目标提供了另一种新的途径,即通过设计传播过程对应的优化目标函数来得到新的GNNs。这样,我们就能够清楚地知道传播过程背后的优化目标,使新设计的图神经网络更具有可解释性和可靠性。

本文的主要贡献总结如下:

  1. 提出了一个包含特征拟合项与图正则化项的统一优化目标框架,并从理论上证明了该框架能够解释多个图神经网络的传播策略,为理解图神经网络提供了一个较宏观的视角,也为设计新的图神经网络带来新思路。
  2. 基于该统一优化框架,我们设计了两种具有灵活图卷积核拟合项的图神经网络传播目标,并给出相应的网络模型。同时对他们的收敛性,表达能力等进行了理论分析。
  3. 我们在六个数据集上验证了提出两种图神经网络模型的效果,实验也表明他们具有较好的缓解过平滑的能力。这进一步验证了基于该统一框架设计新图神经网络的可行性。


神经网络

举报
分享

分享文章到朋友圈

分享文章到微博

采纳成功

您已采纳当前回复为最佳回复

运气男孩

发帖: 445粉丝: 54

发消息 + 关注

发表于2021年02月25日 00:54:12
直达本楼层的链接
沙发
显示全部楼层

感谢分享

点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复

小强鼓掌

发帖: 168粉丝: 2

发消息 + 关注

发表于2021年02月25日 11:08:12
直达本楼层的链接
板凳
显示全部楼层

感谢分享

点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复

yzq18941596181

发帖: 180粉丝: 4

发消息 + 关注

发表于2021年02月25日 11:16:37
直达本楼层的链接
地板
显示全部楼层

mark一下

点赞 评论 引用 举报

游客

富文本
Markdown
您需要登录后才可以回帖 登录 | 立即注册

结贴

您对问题的回复是否满意?
满意度
非常满意 满意 一般 不满意
我要反馈
0/200