arXiv | 药物组合的深度生成模型

作者 | 陈雨洁

单位 | 湖南大学

研究方向 | 药物组合

本公众号去年9月曾报道哈佛医学院Feixiong Cheng博士发表在Nature Communication上的工作，该工作首次基于网络研究了药物组合的基本原则。参见“Nat. Commun | 基于网络的药物组合预测”。

今天给大家介绍后续的一个研究工作“ Network-principled deep generative models for designing drug combinations as graph sets ”，德州农机大学的Yang Shen课题组首次提出药物组合的深度生成模型。

1

研究背景

耐药性( Drug resistence )是指病原体与药物多次接触后，对药物的敏感性下降，致使药物对该病原体的疗效降低甚至无效。克服抗生素、抗菌药物、抗癌药物的耐药性是当前医药研究的重要课题。药物的联合治疗是克服耐药性的一种策略，已成功用于对抗艾滋病毒、结核病以及癌症。面对计算药物组合设计中存在的巨大化学空间中“药物组合爆炸”问题，Yang Shen课题组首次提出使用生成模型来加速发现抗耐药性的药物组合。

2

研究方法

（1）层次变分图自编码器（HVGAE）学习基因和疾病表征

第一层输入为基因-基因网络数据，使用图神经网络(GNN)学习基因特征表示，将邻接张量和学习到的基因特征利用变分自编码器生成基因表征。

第二层输入为疾病-疾病网络、疾病-基因网络数据学习疾病表征。作者主要根据与某种疾病相关的基因表征学习特定疾病-基因的注意力分数（其中注意力分数可以捕捉到与某种疾病相关的基因的重要程度），再将注意力机制应用到所有相关基因，学习到疾病特征表示，最后利用变分自编码器生成疾病表征。

HVGAE是以端到端的方式对基因-基因、疾病-疾病网络进行联合训练，最终得到学习好的疾病表征。

（2）基于强化学习生成药物组合

作者将药物组合设计问题设计为基于网络原则的图集生成问题。将药物用药物分子图来表示，不断学习强化学习的智能体(agent)，使它能够在化学感知和系统感知的环境中迭代地向每个分子图添加子结构和边。

状态空间(state space) G是K个图的集合，每个图有不同数目和类型的节点或边。迭代过程中中记录图集的中间变化状态Gt。动作空间(action space) a是边的集合，这些边可以将当前图集中的图与scaffold子图集C的成员连接，组成新图，at包括两个节点的选择，边类型的预测以及结束的预测。

作者提出多目标奖励(reward)机制，能够符合药物联合治疗的某些要求。第一种是化学有效性(chemical validity)奖励保证单个化合物的在化学上是有效的；第二个是新的对抗奖励，GW-WGAN，通过遵循ZINC数据库中可合成化合物或FDA批准药物中的分布，强制生成的化合物是可合成的和“类药物”的；第三种是基于网络原则的奖励，鼓励单个药物靶向疾病模块，两个药物靶标集合又不会重叠。

策略网络(Policy Network)是将中间图集Gt和scaffold子图集C作为输入，输出动作at，预测Gt中每个图的新连接，作者使用近端策略优化PPO训练模型。

模型是利用不同的奖励机制、疾病集合和动作空间，将提出的强化模型分为三个阶段进行训练，利用HVGAE生成的疾病表征，逐渐关注目标疾病。第一阶段生成遵循化学有效性奖励、亲脂性奖励以及针对单个化合物的新对抗奖励机制的高亲脂性的类药物小分子；第二阶段在第一阶段的模型预训练的基础上使其在所有疾病中产生良好的药物组合，模型添加了基于网络原理的化合物组合的奖励，依次为每种疾病(299种)生成药物组合，每次迭代都为给定疾病生成8种药物组合；与第二阶段针对所有疾病不同，第三阶段是针对特定疾病的。

3

数据

基因-基因网络作者使用(Menche等人，2015)提出的人类相互作用组(human interactome)数据，其中包含有141296个相互作用对连接的13460个蛋白质。疾病-疾病网络是源于(Menche等人，2015)，其中具有299个疾病和5896条相互作用连接。疾病-基因关联数据源于OMIM数据库(Hamosh等人，2005)。药物-疾病关联数据使用CTD数据库数据(Davis等人，2019)。

4

实验

作者将HVGAE与疾病-疾病网络表示学习中最先进的图嵌入方法进行比较，此外，还考虑消融研究，HVGAE-disjoint取消联合嵌入网络以及HVGAE-noAtt不使用注意力池的两种HVGAE的变体，实验结果证明，HVGAE模型性能表现出最佳性能。

表 1  HVGAE和baseline性能对比

作者从两个方面对所提出的基于强化学习生成药物组合方法的性能进行评估。作者基于网络的原则，使用药物组合的分数来量化提出的强化学习模型的性能。作者基于疾病分类的两个版本，包括原始疾病本体和它的扩展，对模型进行评估。

表 2 基于疾病本体论分类计算的基于网络生成的药物组合分数

在所有疾病类别中，在基于网络原则的奖励的环境中学习设计出的化合物组合确实达到了预期的性能。药靶集合在疾病模块中重叠率比较低( A∩B分数约0.1)，在疾病模块中的联合覆盖率较高( A∪B分数在0.4-0.5之间)，与FDA批准的治疗黑色素瘤的药物组合相比，设计的化合物组合具有与这些药物组合相似的覆盖范围(A-B和B-A)，而FDA批准的药物组合的重叠和总覆盖率均高于设计的药物组合，可以通过对RL的agent更长时间的训练来改进。

表 3  FDA批准的黑色素瘤药物组合分数

作者还基于特定疾病黑色素瘤、肺癌、卵巢癌以及乳腺癌进行病例研究。在所有4个病例中设计的药物组合，在分布中具有较高的网络分数，遵循网络原则设计的药物组合可以降低药物相互作用的毒性，这在使用药物组合时也是至关重要的。

表 4 基于强化学习生成的药物组合网络分数和毒性与Baseline比较

此外，作者还针对基于强化学习产生药物组合的模型进行消融研究，通过删除基于网络原则的奖励GSWGANw/o以及使用GAN而非GS-WGAN的奖励GANw/，实验表明，两种奖励结合可以在迭代的过程中导致更快的增长最终获得最好的饱和网络分数。

表 5  基于强化学习的消融研究

5

结论

作者提出将药物组合设计问题设计为图集生成问题，并开发了一个具有新型的对抗奖励和基于网络原则的药物组合奖励的深度生成模型，此外还设计了分层变分图自编码器联合嵌入基因-基因、疾病-疾病、疾病-基因网络，用来学习疾病的嵌入表示，结果表明作者提出的HVGAE模型优于最先进的无监督图学习方法，其强化学习模型也能够基于网络原则，有效地搜索化学组合空间并设计有效的药物组合。

Data & Code

https://github.com/Shen-Lab/Drug-Combo-Generator

参考资料

Network-principled deep generative models for designing drug combinations as graph sets Mostafa Karimi 1,2,=, Arman Hasanzadeh1,= and Yang shen1,2,*

DrugAI

长按识别二维码关注我们获取最新消息！