NLP4ConvAI2021 | plms-graph2text 预训练语言模型用于图谱文本生成

论文：Ribeiro Leonardo F. R., Schmitt Martin, Schütze Hinrich, Gurevych Iryna. Investigating Pretrained Language Models for Graph-to-Text Generation[A]. Proceedings of the 3rd Workshop on Natural Language Processing for Conversational AI [C]. Online: Association for Computational Linguistics, 2021, 211–227.

链接：https://aclanthology.org/2021.nlp4convai-1.20

代码：https://github.com/UKPLab/plms-graph2text

0、摘要

• KG-to-text：目的是基于图谱数据生成流畅的文本
• 研究最近的2个PLM（BART、T5）
  • 不同自适应任务，进行预训练
  • 3个图：MR、Wiki、sci
  • 3个数据达到SOTA：AMR、WebNLG、AGENDA
• PLM效果好的原因：预训练或微调期间看到过类似的事实

1、介绍

• 图：NLP里重要的数据结构，表示一组对象的复杂关系
• 句子的语义和句法结构可以使用不同的图表示
  • AMRs、语义角色标注、句法语义图、知识图谱
• KG-to-text：data-to-text 生成的子任务
  • 对话系统、问答
• 本文研究BART、T5，encoder-decoder结构，适合条件文本生成
  • 引入任务自适应 KG-to-text预训练方法，提升性能
• 最近工作都显式的编码图结构，但是PLMs都优于它们
  • 非显示、简单的线性遍历
  • 微调PLMs，即使KG简化，也有高性能

• 贡献
  • 研究BART和T5，语言模型自适应LMA和有监督任务自适应STA
  • 方法优于现有技术（图结构：GNNs）
  • 众包实验，方法优于人类
  • 即使没有节点连接信息（混合线性化图表示），性能也良好

2、方法

• BART和T5 区别：预训练方法、语料库
• 在有监督的下游任务数据上微调
• T5设置：在图谱输入前，加前缀“translate from Graph to Text:”，模仿T5训练过程
• 任务自适应
  • 利用额外的任务特定数据集改善性能（与任务相关的预训练语料，量小）
  • 在原始预训练和微调之间，增加一个自适应预训练
• BART和T5先做【继续预训练】
  • language model adaptation
    (LMA) 或者 supervised task adaptation (STA)
  • STA：使用与目标任务相同或相似的图谱-文本语料对
  • LMA：遵循BART和T5的预训练策略，只使用图谱相对应的描述文本
  • 注：LMA预训练不使用图谱，只使用文本（使解码器适应目标领域）
  • 评估前：使用原始训练集微调模型

3、结果

• WebNLG Challenge 2017 数据集

号外号外：想了解更多的AI技术干货，欢迎上华为云的AI专区，目前有AI编程Python等六大实战营供大家免费学习。