GCN学习中知识点及应用
【摘要】 GCN学习过程中遇到的问题点
GGN理论
- GCN公式
- 结合注意力机制,如何优化。
- 对于工业界的一些图方法,有没有用过?
- 比如MPNN, GraphSAGE, DeepWALK
- 在药物性质预测方面,MPNN能做什么?怎么做?MPNN的思路?
- MPNN和其他图算法的区别?
- 过平滑如何解决?
- Random seed会出现不稳定的现象,如何解决?
- 图表示的方法有哪几种?如何做分类的?用什么层去做分类的?
- 图算法介绍?有几类?
- 遇到了什么问题?
- 优化的过程是什么?
- SHAP原理,value值及解释
- GCN相关方法?*
- MPNN, GraphSAGE, DeepWALK的区别及方法解释、优劣势等
- Laplacian的作用?
- attention的原理是什么?为什么用attention?
- Gumbel softmax
过平滑问题的原因
- 点的邻域类似;点上的特征较少;特征类似。
- 卷积层数过深
- 卷积核过于简单:GCN中的计算是直接进行求和,相对来说比较容易出现过平滑问题,这个计算太过简单没啥区分度,如果对GCN的图卷积核进行改造,一定程度上可以缓解这个问题,例如添加残差连接,浅层GCN的基础上引入边权重进一步缓解降低过平滑的程度,或者使用GAT里的图卷积核
- 可以通过gating的方式:选择必要的信息,进行一点过滤。
关系预测
- 如何做的关系预测算法?AutoTransX,TransE, TransH等,如何训练?
知识图谱
- 医疗图谱端到端的构建,这个请介绍下?
图和应用
医疗应用
- 针对异质数据,基于领域知识进行知识整合,比如一些没有关联的特征,可以通过先验医疗知识图谱关联起来。
- 进行知识提取并整合为不同层次知识融合交互的图形式,能最大化地提取文本关键信息。图形式的知识呈现不受文本长度限制,增删特征/节点灵活
- 由于数据异质性会带有不同的类型和属性:根据医学异质数据特性设置多种表征模块,更好的编码和表征医疗图节点/边
- (1) text节点表征:KGE,BERT, word2vec等,通过引入外源可靠知识支撑节点表征,再根据下游任务动态调整嵌入表示,以此来更好得到医疗知识和医疗图表示。主要是知识图谱的表征算法,KGE,经过一定预训练。
- (2) numeric节点表征:multi-MLP模块,将不同类型的数值节点映射为向量,挖掘数值高低的含义。
- (3) virtual节点/边表征:设置虚拟节点/主节点/虚拟边,深度挖掘图节点之间的潜在联系。虚拟节点的表征,能够融合周围的节点;同时将比较远的节点,聚合在一起。
- (4) 注意力机制:按照贡献度对特征进行聚合
- 通过MPNN的方法,对比了GraphSAGE, GCN, GAT的方法,用的GraphSAGE中的LSTM等作为aggregator。
- 对整体的思路,进行可解释性分析。基于权重计算等
相关应用
- 可以通过卷积形式去解释,变换卷积方式,做的图卷积
- 组学数据的解释方法(以编程的代码及编译为例),不同数据分布,embeding形式
- 把论文打开解释算法
- 图是如何来的?分为几种边?是否有向边?为什么不用有向边?
- 如何分的训练集和验证集?
- 和常规方法的对比
- 和其他图方法的对比,效果怎么样?
- 用在哪些实际案例中?效果怎么样?提升多少?
- 先来的idea还是因为项目需要才做的?
- GCN对谁做的?
- 评测指标是什么?
- 图基因算法,如何做的可解释性?比如通过attention等? SHAP的原理?
- 怎么证明是否有效?用在下游靶点发现了吗?
- 给客户用?怎么用的?
- 数据是什么样的,几种?学习目标是什么?graph是什么概念?图怎么定义的?实际案例是什么样子?是否和常规方法对比?
迭代的思路是什么?
- MLP:纯用MLP去分类
- Smooth: 之后遇到一些过平滑的问题,采用了一些方法,比如attention,residual,跳跃网络,gating层等,还有一些dropout,dropedge之类的操作。
- 图谱大小及置信度等:以及不同的图谱大小等,因为边的置信度不太一样,所以选择不同。
其他
- 常用的损失函数。
- gumble softmax
- Softmax的公式。
- Cross entropy的公式。
- 控制学习率衰减的组件或者模块
- 怎么用的warmup,具体操作流程
- GPU的分布式训练,如何做的?
- 常见的查找算法及其复杂度
- 文本匹配算法。
- XGBOOST等方法的原理
- 集成学习
- 远程监督,预训练。
- ResNet/DenseNet
- Focal loss
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)