图神经网络发展

举报
AI Medicine 发表于 2022/03/29 09:57:50 2022/03/29
【摘要】 谱域图神经网络概念：希望将卷积用在图上，为了解决空间邻域的不规则性，依据图谱论，将图的拉普拉斯矩阵进行谱分解，并利用得到的特征值和特征向量在普空间上进行卷积操作。发展历史：Spectral Graph GNN -- Cheby NET -- GCNSpectral Graph GNN:依赖每个图的拉普拉斯矩阵，无法扩展对图信号的操作步骤将空域的图信号x进行图论傅里叶变换，得到F(X) = U...
      1. 谱域图神经网络
        1. 概念：希望将卷积用在图上，为了解决空间邻域的不规则性，依据图谱论，将图的拉普拉斯矩阵进行谱分解，并利用得到的特征值和特征向量在普空间上进行卷积操作。
        2. 发展历史：Spectral Graph GNN -- Cheby NET -- GCN
        3. Spectral Graph GNN:
          1. 依赖每个图的拉普拉斯矩阵，无法扩展
          2. 对图信号的操作步骤
            1. 将空域的图信号x进行图论傅里叶变换，得到F(X) = UTx
            2. 在谱域定义可参数化的卷积核gθ，对谱域信号进行转换，
            3. 将谱域信号进行图论傅里叶逆变换，得到空域信号在谱域上的表示
          1. 为什么要用拉普拉斯变换？
        4. ChebyNet
          1. 卷积核定义为多项式，
          2. 通过将卷积核定义为拉普拉斯矩阵的函数
        5. GCN
          1. 只使用一阶近似的卷积核，
          2. 把切比雪夫网络中的多项式卷积核限定为1阶；只用1阶邻居节点。
        6. 缺点：
          1. 很多谱域图神经网络需要分解拉普拉斯矩阵，复杂度很高；需要存入全图内存。
          2. 通常作用再图拉普拉斯矩阵的特征值矩阵上，切换图时，卷积核参数没办法迁移；限制了泛化能力。

 

      1. 空域图神经网络
        1. Original GNN：
        2. GGNN：
          1. 门控图神经网络，基于某些规则选择节点
        3. MPNN
          1. 把所有空域图神经网络统一成了消息传递模式
        4. GraphSAGE
          1. 从直推式学习扩展到归纳式学习
        5. GAT
          1. 利用注意力机制来定义图卷积
        6. GIN
          1. 图同构网络
      2. 图卷积神经网络
        1. 本质上类似于拉普拉斯平滑，从图信号分析角度看，类似于低通滤波器
      3. 图卷积神经网络模型的扩展
        1. 深层图卷积网络、图的池化、图的无监督学习、图神经网络的大规模学习、不规则的图深度学习等
        1. 深层图卷积网络
          1. 通过残差连接，让原始的信息可以向远处传递；Cluster-GCN
          2. GCNII等
          3. DrpoEdge
          4. PairNorm
        2. 图的池化
          1. 类似于某种形式的降采样，在卷积层后面，保持显著特征，降低特征维度，减少网络参数量等；
          2. 平均池化和最大化池化
          3. 聚类、池化
          4. 可学习的池化：diffpool
          5. Top-K池化和SAGPool
            1. Top-K通过可学习的参数将节点的属性映射，排序，选择其中几个
        3. 图的图监督学习
          1. Graph AutoEncoder
          2. 互信息：
            1. 一个随机变量包含另一个随机变量的信息量，可以尝试最大化学到的嵌入与一个变量的互信息，保留节点最重要的特征；
        4. 图神经网络的预训练
          1. 节点级别的：上下文（周围节点）预测，属性遮蔽（预测遮蔽的节点属性和边）
          2. 节点级别的任务：上下文预测
            1. 得到节点v的嵌入hv，hv也代表了邻接域的表示；
            2. 找到节点v周围的上下文图，定义一个额外的辅助图神经网络，对上下文图进行编码
            3. 目标：判断一个邻接域与一个上下文图是否属于同一个节点，是则sigmod为1，否则为0
          3. 节点级别的任务：属性遮蔽
            1. 对具有丰富属性标签的图非常有效，如分子图、蛋白质交互图；
            2. 步骤：（1）先遮蔽节点的一些属性（如节点类型），然后通过神经网络学习节点的嵌入，再通过一个简单的预测层预测那些被遮蔽的属性。
          4. 图级别的任务：属性预测和相似度预测
            1. 预测图的属性：
            2. 预测图与图之间的相似度：
        5. 图神经网络的大规模学习
          1. 点采样
            1. GraphSAGE;
            2. PinSAGE， 通过随机游走，访问次数越多的点，被采样的概率越大
            3. VR-GCN：进一步缩减了邻接点采样的数量，
          2. 层采样
          3. 图采样
            1. Cluster-GCN: 采用图聚类算法把图分割成小块，使用这些小图训练，图卷积计算及得到损失函数
            2. GraphSAINT：使用随机选取方法采样
        6. 不规则的图深度学习模型
          1. 关注多种类型节点和边的不规则图（异构图）
          2. 关系图神经网络（RGCN), 根据边的类型r的不同，选择不同的参数wr
          3. 另一种异构图神经网络的思路：图注意力网络，将边的信息加入。

 

【版权声明】本文为华为云社区用户原创内容，转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息， 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱： cloudbbs@huaweicloud.com
神经网络
  • 点赞
  • 收藏
  • 关注作者

评论（0）

0/1000
抱歉，系统识别当前为高风险访问，暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称，即可参与社区互动！

*长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。

确认 取消

加入云驻计划，成为创作者

  • 华为云周边好礼
  • 免费体验产品
  • 特殊身份标识
  • 线下官方门票
  • 内部专家零距离
  • 与10000+优质创作者共同成长
立即加入