米兰·(milan)中国官方网站-哈工大丁效：基于神经符号的认知推理方法

作者 | 丁效

收拾 | 维克多

于已往十年的人工智能海潮中，以深度进修为代表的人工智能技能已经基本实现了视觉、听觉等感知智能，但依然没法很好地做到思索、推理等认知智能。

4月9日，哈尔滨工业年夜学计较学部副研究员丁效，于AI TIME青年科学家——AI 2000学者专场论坛上，做了《基在神经符号的认知推理要领》的陈诉，分享了神经收集要领履行符号推理使命的最新进展，同时也给出了将符号常识注入神经收集的思绪以和怎样将神经收集与符号体系相交融。

如下是演讲原文，AI科技评论做了不转变原意的收拾。

今天及各人分享神经符号认知推理方面的研究事情。人工智能（AI）已经履历了第一代符号智能，第二代感知智能以和当前的认知智能。认知智能是一种交融的状况，夸大暗示进修与繁杂常识推理的有机联合是人工智能前进的阶梯。

现实上，于天然语言处置惩罚（NLP）范畴，预练习模子范围以每一年约10倍的速率增加， 模子的通用智能程度显著加强。如上图，不管是计较的繁杂度、参数以和练习时间，跟着时间的推移，都有超过性的成长，也促使模子机能年夜幅度晋升。

同时，预练习语言模子还有有很年夜的成长空间。例如扣问GPT-3：烤箱及铅笔哪一个更重？脚有几只眼睛？等问题，它的回覆的成果差能人意。底子缘故原由是缺乏对于常识的推理的能力，以和对于推理成果的可注释性。

怎样解决？我认为需要开发新的计较范式，行将基在感知的深度进修及基在认知的符号计较，举行交融。

传统基在符号的暗示，例如于NLP范畴，对于在句子的处置惩罚是分词，文本中有1万个词就对于应1万维。

此刻漫衍式的暗示要领是基在神经收集，需要进修出每一个词的向量，此向量维度不高，也不会那末稀少，它是低维浓厚的实数值向量，很轻易捕捉文本的语义信息。

使用符号体系及使用上下文暗示的体系有甚么区分？起首对于在辞汇的理解，必然离不开上下文的语义的理解。例如：小明脱离星巴克及乔布斯脱离苹果公司，一样是脱离一词，前者可能暗示消费完了，脱离某个市肆，后者可能暗示告退。是以，两种语义是大相径庭的。

传统的NLP使命从语猜中提取特性，使用统计瓜葛进修建模语义布局，属在符号体系处置惩罚要领。给定若干个使命，例如共旨消解、语义脚色标注、依存阐发或者者NER等等使命，传统要领是手工提取一些特性，然后把特性输入到一些统计模子傍边，然后患上出分类成果、猜测成果。

传统的 NLP的处置惩罚方式，提取特性可以认为是符号体系，即手工提取的特性自己就能够用来注释末了的猜测成果，这是典型的可注释的方式。

基在神经收集的漫衍式的语义暗示，于处置惩罚各类NLP使命时，“省略”了特性提取步调，有几个特色：1. 单词用浓厚的低维向量暗示；2.上下文语义暗示是单词语义暗示的组合；3.暗示向量与组合方式需要于年夜量的数据长进行练习；4.可以或许获得词的使命特异暗示。

虽然应用神经收集可以或许获得远超之前的机能，但也有“需要年夜量练习数据”、“可注释性差”、“推理基在外貌特性”等错误谬误。

神经要领及符号要领各有哪些优错误谬误？符号AI对于在法则、常识，可以或许可步伐化，可以用编程的方式直接把法则编写到步伐傍边，然后可以举行切确、严酷的匹配、推理，获得的成果也是切合法则的，是以注释性强。错误谬误是组织成本过高，笼罩率低，不变性也不太够。

神经要领的长处是暗示能力很是强，使命的顺应性很强，不管天生使命，还有是分类使命，亦或者回归使命都能“拿下”。错误谬误是进修最简朴的模式，间隔人的聪明还有有很年夜的间隔，以和一直被诟病的黑盒、不成注释性等等。

显然，假如有要领将神经与符号相交融就能上风互补。今朝，有三种要领可供参考：

1.神经收集要领履行符号推理使命，神经收集于此历程傍边可能帮忙咱们把词举行泛化。

2. 符号常识注入神经收集。举行丧失函数设计，或者者举行一些正则化的约束，或者者举行数据增广等操作。

3. 神经收集与符号体系相交融。即不以符号为主，也不以神经为主，而是举行有机交融。

于NLP处置惩罚范畴，假如想得到以“类人”方式进修及思索的呆板，需要于语义合成、推理、知识进修，学会进修等四个方面努力。NLP中的推理是指文本推理可以或许鞭策别的三个使命不停的前进。

文本推理是指给定文本情势的条件(Premise)与条件相干的某一假定(Hypothesis)，建模文本语义与文本布局，以判定条件与假定之间的瓜葛。详细的例子以下图所示：

文本推理有三个典型的使命，文本蕴含、因果推理以和故事末端猜测。联合认知的文本推理，实在来历在认知科学傍边的双历程的理论。

双历程理论是指人的思索及进修是有两个体系：直觉体系及逻辑体系。直觉体系帮忙咱们举行一些直觉的无思决议计划，快速回覆问题；逻辑体系要挪用年夜脑傍边存储的常识举行逻辑的推理。

下面先容实现适才提到的三种差别认知推理使命的要领。

符号推理的使命有许多，主动定理证实、多项选择问答、逻辑法则归纳。因为时间有限，重要先容多项选择问答使命。

于去年的EMNLP 2021一篇论文中，咱们采用天然逻辑，帮忙完成多项式选择的问答使命。

天然逻辑是一种语义单调性的逻辑体系，它重要是界说了7种单词之间的语义瓜葛，包括等价、前向蕴含、反向蕴含、前向蕴含、反义、并列、笼罩、自力等等。然后咱们要于遵照天然逻辑的条件下，于文本长进行推理，例如把句子举行增删改操作，然后连结语义的稳定性，举行替代。

例如：

给定句子：所有的动物需要水

天然逻辑：动物 ⊒ (反向蕴含) 狗

替代操作后：所有的动物需要水 ⊑ 所有的狗需要水

推理中的换词对于NLP中的多项选择问答使命很是有须要。例如上图中的使命情势：给定问题：啮齿动物吃植物？常识库傍边有一条常识是：松鼠吃松子。

第一步需要举行单词的替代，将啮齿动物替代成仓鼠，然后把植物替代结果实，或者者把植物可以替代成庄稼。

接下来不停替代，把植物替代成谷物，把果实替代成坚果，把啮齿动物替代成田鼠，颠末一步一步的的替代，终极替代到了常识库傍边的某一条常识。是以，基在天然逻辑举行多项选择问答这条路径就是可注释的。实在，不仅是可以替代，也能够增长词、删除了词、修改词。

问题于在是基在语义辞书举行词的替代，而语义辞书长短常有限的。再者没有思量上下文的语义瓜葛。

引入神经收集的要领，可以将词的替代直接举行神经化。详细历程可以分为4步：

1. 使用预练习语言模子天生候选单词

2. 判定原单词及候选单词之间的语义瓜葛

3. 按照上下文的单调性将词级另外语义瓜葛映照到句子级别

4. 保留满意恒等及反向蕴含瓜葛的候选句

符号常识注入神经收集的方式有许多，可以使用逻辑法则约束神经收集的模子；可以使用基在逻辑法则举行数据加强的使命。

例如数据加强，给定三元组 B的首都是A（A,首都,B），可以扩大出A位在B。详细一些，常识库总已经经有: （北京，首都，中国），则基在该法则可以增补分外的三元组（北京，位在，中国）。

怎样使用逻辑法则，约束神经模子？上图是事务时间知识常识猜测使命，此中猜测为对于应的时间单位：给定事务起床，推测频率、连续时间以和典型发生时间。

这些事务的知识常识有甚么用？可以把事务的知识常识注入到预练习语言模子傍边，让模子对于事务时间的知识常识可以或许把握，会让模子于举行时间相干的推理的事情中越发高效。

存于的问题于在，从文本中无监视抽取的时间知识可能存于陈诉误差（Reporting Bias）。例如常见的环境的于文本中并未显式说起：天然文本中险些不会有“睡醒以后，我一般要花几分钟的时间起床”等近似的表达！于文本表达中会对于非平常征象加以夸大：我天天都患上花一个小时才能起床！。

怎样解决？使用差别维度间的时间知识常识之间的约束瓜葛，缓解陈诉偏差。对于在“我是于妈妈预备早饭时期起床的”，使用事务间时序瓜葛可以患上出：起床的连续时间短在预备早饭 ；“本身于家预备早饭，十分钟就能够弄定” 可以患上出：预备早饭的连续时间年夜概约为10分钟。

下表具体总结了近似在上述所有的可能的互补瓜葛：

此法则如何使用？咱们设计了基在软逻辑法则的时间的知识猜测。给定输入：我是于妈妈 e2 预备早饭 /e2 时期 e1 起床 /e1 的，获得原子式： HRCHY((e1,e2),during ，然后将原子式归纳综合成几率软逻辑法则，以下图。

将几率软逻辑法则放到神经收集模子傍边，将其建造成丧失函数。这一步是于交织熵丧失函数的基础上，添加了几率软逻辑的约束丧失，使患上模子于做的时间推理的历程傍边，既思量几率软逻辑的法则，同时思量对于在语义理解以后的的推理成果。

交融神经及符号的推理体系，于举行数值运算，因果逻辑推理，一阶谓词逻辑法则等方面具备上风。它可以使用神经收集模块，显式建模符号法则。

传统的因果推理模子大都以黑盒方式，直接从标注的因果事务对于中进修因果常识。是以可能使用部门与标签存于相干瓜葛的统计特性做出判定，致推理成果的不不变，不成靠，不成注释。

怎样还有原暗地里的因果决议计划机制？咱们提出引入中间证据事务，还有原暗地里的因果逻辑链条。这类因果逻辑链条提供了更强的可注释性。于ACL 2021上，咱们的事情ExCAR: 事理图谱常识加强的因果推理框架，可以或许从预先构建的事理图谱中获取中间证据事务。

详细而言是利用前提马尔可夫神经逻辑收集(CMNLN)，此中逻辑收集具备较强的可注释性与靠得住性。神经逻辑收集是指使用神经收集暗示法则，并付与每一个因果法则以权重(因果强度)，以应答法则调集中可能存于的噪音与统计瓜葛的繁杂性。前提马尔可夫还有能撑持因果叠加效应，即对于在统一法则，差别的前件可能对于因果强度带来差别的影响。基本逻辑是：证据事务→逻辑法则→因果逻辑图。

下面从人机交互的角度，思索呆板进修。当前的呆板进修历程：极端依靠静态的标注数据集。例如标签蕴含的信息有限，这致使进修效率低下、对于在繁杂使命，标注尤为昂贵、数据过时致使模子没法利用。

呆板向人的进修远远不只是说去学标注的数据，可以进修的种类很是多样，例如点击用户的举动数据，以和用户的注释信息。现实上用户的注释的信息对于在呆板进修而言长短常主要的。

如上图的例子，小明按照ab/b=a，推导出SinX/n=six。教员则认为这是不合错误的，由于Sin是总体，是三角函数。

是以，基在上述不雅察，咱们于ACL 2022集会论文中提出，不仅举行因果推理的使命，还有需要给出响应的注释。不只是针对于某因果对于注释，可所以观点性的注释。

例如将铁块插手盐酸中，致使铁块被消融。需要天生观点性的注释酸具备腐化性，显然这不只是因果对于的注释。

当前的因果推理体系仍缺少此类知识。例如，现有的因果推理数据集只提供因果对于和其标签，缺乏对于因果瓜葛道理层面的注释。而人类可以或许同时应用详细的因果常识，以和对于在因果机制的深切理解以高效、靠得住地推理出因果瓜葛。是以，将来认知推理，它必然需要及脑科学举行联合。

雷峰网(公家号：雷峰网)雷峰网

雷峰网原创文章，未经授权禁止转载。详情见转载须知。