米兰·(milan)中国官方网站-重温三十年前对于 NN 的批判：神经网络无法实现可解释 AI
美国东北年夜学体验式人工智能研究所的高级研究科学家 Walid S. Saba 从组合语义的角度出发，提出一个不雅点：深度进修没法组织一个可逆的组合语义，以是它没法实现可注释AI。
作者 | Walid S. Saba
编译 | Antonio编纂 | 陈彩娴
1可注释AI （XAI）跟着深度神经收集 (DNN) 用在决议贷款核准、事情申请、核准法院保释等与人们好处互相关注或者者一些存亡攸关的决议（例如于高速公路上忽然泊车），去注释这些决议，而不单单是孕育发生一个猜测分数，是至关主要的。
可注释人工智能 (XAI) 的研究近来集中于反事实（counterfactual）例子的观点上。这个设法很简朴：起首制造一些有预期输出的反事实样例并输入到本来的收集中；然后，读取隐层单位注释为何收集会孕育发生一些其他输出。更正式地说：
“返回分数 p 是由于变量 V 具备与其联系关系的值 (v1, v2, ...)。假如 V 具备值 (v′1 , v′2 , ...)，而且所有其他变量连结稳定， 分数 p 会被返回。”下面则是越发详细的一个例子：
“你被拒绝贷款是由于你的年收入是 30,000 英镑。假如你的收入是 45,000 英镑，你就会得到贷款。”然而，一篇由Browne 及 Swift提出的论文[1] (如下简称 B W）近来注解，反事实示例只是轻微更成心义的匹敌性示例，这些示例是经由过程对于输入履行小的且不成不雅察的扰动而孕育发生的，从而致使收集对于它们举行过错分类具备很高的自傲度。
此外，反事实的例子「注释」了一些特性应该是甚么才能获得准确的猜测，但「没有打开黑匣子」；也就是说，没有注释算法是怎样事情的。文章继承争论说，反事实的例子并无为可注释性提供解决方案，而且「没有语义就没有注释」。
事实上，文章甚至提出了更强有力的建议：
1）咱们要末找到一种要领来提取假设存于在收集隐蔽层中的语义，要末2）认可咱们掉败。
而Walid S. Saba本人则对于（1）持灰心立场，换句话说他遗憾地认可咱们的掉败，如下是他的理由。
2Fodor 及 Pylyshyn 的「幽灵」虽然公共彻底赞成B W的不雅点，即“没有语义就没有注释”，但注释深度神经收集中隐蔽层暗示的语义为深度进修体系孕育发生使人满足的注释的但愿之以是不克不及够实现，作者认为，缘故原由恰是出自三十多年前Fodor 及 Pylyshyn [2]中概述的缘故原由。
图注：Jerry A. Fodor（左）及 Zenon PylyshynWalid S. Saba接着论证到：于注释问题出于哪里以前，咱们需要留意到，纯粹的外延模子（例如神经收集）不克不及对于体系性（systematicity）及组合性（compositionality）举行建模，由于它们不认可具备可再衍生的句法及响应语义的符号布局。
是以，神经收集中的暗示其实不是真正与任何可注释的事物相对于应的“符号”——而是漫衍的、相干的及持续的数值，它们自己其实不象征着任何可以于观点上注释的工具。
用更简朴的术语来讲，神经收集中的子符号暗示自己其实不指代人类于观点上可以理解的任何事物（隐蔽单位自己不克不及代表任何玄学意义的对于象）。相反，它是一组隐蔽单位，它们凡是配合代表一些光鲜明显特性（例如，猫的髯毛）。
但这恰是神经收集没法实现可注释性的缘故原由，即由于几个隐蔽特性的组合是不成确定的——一旦组合完成（经由过程一些线性组合函数），单个单位就会丢掉（咱们将于下面展示）。
3可注释性是“反向推理”
DNN没法逆向推理作者会商过为何 Fodor 及 Pylyshyn 患上出的结论是 NN 不克不及对于体系性（是以是可注释的）推论举行建模[2]。
于符号体系中，有界说明确的组合语义函数，它们按照身分的意义计较复合词的意义。可是这类组合是可逆的——
也就是说，人们老是可以获得孕育发生该输出的(输入)组件，而且恰是由于于符号体系中，人们可以拜候一种“句法布局”，这一布局含有怎样组装组件的舆图。而这于 NN 中都并不是云云。一旦向量（张量）于 NN 中组合，它们的分化就没法确定（向量（包括标量）可以分化的方式是无穷的！）
为了申明为何这是问题的焦点，让咱们思量一下 B W 提出的于 DNN 中提取语义以实现可注释性的建议。B W 的建议是遵照如下原则：
输入图象被标志为“修建”，由于凡是激活轮毂盖的隐蔽神经元 41435 的激活值为 0.32。假如隐蔽神经元 41435 的激活值为 0.87，则输入图象将被标志为“汽车”。
要相识为何这不会致使可注释性，只需留意要求神经元 41435 的激活为 0.87 是不敷的。为简朴起见，假定神经元 41435 只有两个输入，x1 及 x2。咱们此刻所拥有的以下图 1 所示：
图注：拥有两个输入的单一神经元的输出为0.87
此刻假定咱们的激活函数 f 是风行的 ReLU 函数，那末可以孕育发生 z = 0.87 的输出。这象征着对于在下表中显示的 x一、x二、w1 及 w2 的值，可以获得 0.87 的输出。
表注：多种输入方式均可以孕育发生0.87的数值
查看上表，很轻易看出 x一、x二、w1 及 w2 的线性组合有没有数个，它们会孕育发生输出 0.87。这里的重点是 NN 中的组合性是不成逆的，是以没法从任何神经元或者任何神经元调集中捕捉成心义的语义。
为了与 B W 的标语“没有语义就没有注释”连结一致，咱们声明永远没法从 NN 得到任何注释。简而言之，没有组合性就没有语义，没有语义就没有注释，DNN 没法对于组合性举行建模。这可以情势化以下：
1. 没有语义就没有注释[1]2. 没有可逆的组合性就没有语义[2]3. DNN 中的组合性是不成逆的[2]
= DNN 没法注释（没有 XAI）
竣事。
趁便说一句，DNN 中的组合性是不成逆的这一事实除了了没法孕育发生可注释的猜测以外还有有其他后果，特别是于需要更高条理推理的范畴，如天然语言理解 (NLU)。
尤其是，如许的体系确凿没法注释一个孩子怎样仅从 ( human likes entity ) 之类的模板中进修怎样注释无穷数目的句子，由于“约翰”、“邻人女孩”、 “老是穿戴T恤来这里的男孩”等都是 human 的可能实例化，还有有“经典摇滚”、“成名”、“玛丽的奶奶”、“于海滩上跑步”、 等都是 entity 的所有可能的实例。
由于如许的体系没有“影象”，并且它们的构成不克不及倒置，理论上它们需要无数个例子来进修这个简朴的布局。【编者注：这一点正好是乔姆斯基对于在布局主义语言学的质疑，并由此开启了影响语言学半个多世纪的转化天生语法。】
末了，作者夸大，三十多年前Fodor 及 Pylyshyn [2]提出了对于 NN 作为认知架构的攻讦——他们展示了为何 NN 不克不及对于体系性、出产力及组合性举行建模，所有这些都是评论辩论任何“语义”所必需的——而这一使人信服的攻讦从未获得完善的回覆。
跟着解决人工智能可注释性问题的需求变患上至关主要，咱们必需从头审阅那篇经典论文，由于它显示了将统计模式辨认等同在人工智能前进的局限性。
参考文献：博客地址：https://cacm.acm.org/blogs/blog-cacm/264604-new-research-vindicates-fodor-and-pylyshyn-no-explainable-ai-without-structured-semantics/fulltext[1] Browne, Kieran, and Ben Swift. Semantics and explanation: why counterfactual explanations produce adversarial examples in deep neural networks. arXiv preprint arXiv:2012.10076 (2020). https://arxiv.org/abs/2012.10076[2] Fodor, Jerry A., and Zenon W. Pylyshyn. Connectionism and cognitive architecture: A critical analysis. Cognition 28.1-2 (1988): 3-71. https://uh.edu/~garson/F P1.PDF更多内容，点击下方存眷：扫码添加 AI 科技评论 微旌旗灯号，投稿 进群：
雷峰网(公家号：雷峰网)
雷峰网版权文章，未经授权禁止转载。详情见转载须知。
-米兰·(milan)中国官方网站
