人工智能与规则模型的结合

Harnessing Deep Neural Networks with Logic Rules

https://arxiv.org/abs/1603.06318

问题背景

数据驱动的深度学习方法给人工智能的各个方向带来了巨大的变化，但这种方法依赖大量的标签数据且具有可解释性差、难训练等问题。事实上，人类的行为表明，人类的学习不仅来源于具体的例子，还来源于不同形式的通用知识和丰富的经验。逻辑规则体现着人类交流过程中的高水平认知和结构化知识，将规则融入神经网络对于学习过程有着巨大的帮助。

当前广泛应用的深度神经网络（例如 DNN）结构存在一定的问题：

• 过于依赖大量的标记数据参与训练
• 纯数据驱动（data-driven）的学习方式往往缺乏解释性
• 难以将人类的一些思维模式融合进入模型，或者仅仅局限于昂贵的直接监督学习或专门的初始化方法
• 人类本身在解决问题的时候不仅仅是依赖于单纯的问题本身提供的信息，而更多地会共同结合自己的常识知识和过往经历进行判断。而当前模型难以将常识知识或者一些人类的思维模式融入任务中

方法

框架流程

规则定义

规则知识蒸馏

教师网络构建

结果

这里考虑分别在 CNN 和 RNN 两个最为常用的神经网络基本框架上实验效果，这里的 CNN 用于文本情感分类，而 RNN 对标实体识别任务

Sentiment Classification 情感分类

这里采用一通道的 CNN，引入 but 规则：

1() 函数标识内部逻辑的正确与否，正确返回 1，错误返回 0；上面这个规则可以直观理解为 but 前后出现情感的转折

这里用三个数据集 SST2 + MR + CR 来评价效果：

Named Entity Recognition 命名实体识别

也就是 NER 任务，也就是将句子中的实体文本识别出来并加入不同的实体类别，LSTM 在类似的任务上表现不错，这里考虑用本文的方法优化 LSTM 的 RNN 部分

这里对应的规则：

q更适用逻辑规则覆盖了大量样本的情况，而p更适用于规则评价复杂或者未知的情况。

Reference：

https://blog.csdn.net/m0_46522688/article/details/115439881?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522162069914616780261960124%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=162069914616780261960124&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_v2~rank_v29-5-115439881.pc_search_result_before_js&utm_term=Harnessing+Deep+Neural+Networks+with+Logic+Rules