米兰·(milan)中国官方网站-如何通向“广义人工智能”？LSTM 提出者之一Sepp Hochreiter：将符号 AI 与神经 AI 相结合

作者 | Sepp Hochreiter

解读 | Antonio

编纂 | 陈彩娴

人类包罗意识、认知、决议计划等等于内的聪明能力，好像从人类有记载的那一刻起，就吸引着无数哲学家的思考。与之近似，从AI降生的那一刻，科学家们则于憧憬：AI 怎样可以或许到达像人类同样的智能？

近期，LSTM 提出者及奠定者，奥地利人工智能高级研究所（IARAI）开创人，曾经得到IEEE CIS 2021 年神经收集前驱奖（Neural Networks Pioneer Award）的Sepp Hochreiter传授于《ACM通信》上对于今朝AI到达的智能程度发表了见解。

Sepp Hochreiter 指出，今朝 AI 的成长正以广义 AI（Broad AI）为方针。他夸大，将以往基在逻辑的符号AI及现有的基在数据的神经AI联合的双向AI（bilateral AI）是最有但愿实现广义 AI 的方式。

深度神经收集是此刻 AI 的主流实现方式。只管它可以实现惊人的机能，但就及人的智能比力而言，它仍旧存于许多的缺陷。Hochreiter 传授援引纽约年夜学认知科学家 Gary Marcus 曾经经对于在神经收集的批判，认为：（1）神经收集极端需要数据（data hungry）；（2）有限的迁徙能力、也没法有用地迁徙到新的使命或者者数据漫衍上去；（3）对于在世界常识或者者先验常识没法充实地交融进去。

也是以，Hochreiter传授警示道，决议计划者对于在这些模子于真实数据的运用范畴的效果存疑，由于真实场景下的数据老是变化着的、带噪声的、甚至数据稀缺的。事实上，于需求很年夜但安全性及可注释性占很年夜考量的医疗、航空、无人驾驶等范畴，深度进修技能的运用仍然有限。

只管云云，Hochreiter传授也指出，当下的 AI 已经经于试图降服这些缺陷，而且以“广义AI”（broad AI）作为当下AI的新方针。

甚么样的体系是广义AI呢？

它区分在现有的、专门针对于特定使命设计的狭义AI（narrow AI），而越发夸大技术习患上及问题解决的能力（skill acquisition and problem solving）。这一不雅点来自任职在Google、Keras作者François Chollet曾经于一篇论文中提到对于在智能的界说。Chollet认为处在智能第二阶梯（下图）的广义AI应该具备如下主要的特性：常识迁徙及互动、鲁棒性、抽象及推理的能力、高效性。而广义AI充实使用感知与料（sensory perception）、以往经验及进修到的技术乐成胜任差别的使命。

图注：差别条理的AI对于应的能力

Hochreiter传授认为现有的架构、收集或者者要领于必然水平上是到达了Broad AI的要求的。他枚举了利用对于比进修举行自监视练习的进修方式来注解迁徙性；充实使用上下文及以往经验的Modern Hopfield networks；以和交融了常识及推理的神经-符号计较模子。

现有的可以有用提高收集迁徙性的模子进修方式莫过在小样本进修。它仅仅利用极少量的练习数据就能够取患上不错的机能。而这要归功在它已经有的“先验常识”或者者“经验”。这些先验常识往往患上益在预练习使命——包罗年夜范围的数据及基础模子（foundation model）。而如许数据往往是经由过程对于比进修、自监视练习的方式举行提取有效的表征。一旦预练习模子学好以后，该使命上习患上的后验常识酿成下流新的使命的先验常识，使患上模子很好地迁徙到新的情境、主顾、产物、流程、数据等上面。

Hochreiter传授尤其提到了于视觉-语言跨模态范畴的对于比进修预练习要领——CLIP。CLIP是OpenAI去年发表于ICML上的一项事情，它利用一个简朴的预练习使命，即图文匹配，经由过程对于比进修的方式来进修更为强盛的图象表征。该使命利用了4万万从网上网络来的图文对于来举行练习。

图注：CLIP使用图文匹配的方式举行练习

意料之中的惊奇于在，它以后无需任何数据练习就能够于30多个计较机视觉使命上实现及以前全监视的方式可比的机能，实现了卓着的“零样本进修”。而正如 Hochreiter 传授所奖饰，这类高度的迁徙性及鲁棒性是部署于拥有真实数据的工业界十分青睐的特色。

事实上，自从CLIP发现以后，后续许多迁徙进修的事情都是基在CLIP的。不夸张地说，它绝对于是视觉语言同一的不成或者缺的一环，有些近似在 Bert 之在 NLP 使命。而当今风行的 Prompt learning（提醒进修）的要领许多也于借鉴 CLIP，或者者于CLIP的框架下。

广义 AI 还有应充实使用上下文情况及以往的经验，这及影象互相关注。这一点也许Hochreiter传授有很好的讲话权，他究竟是是非时影象收集的发现者之一。而于认知科学中，有学者曾经经提出过观点短时影象，它描写的是当人类于接管到一个刺激时辰，好比一幅图、一个单词，他会快速地将这些刺激转化到一个抽象的观点领域，并把它联系关系到及永劫影象相干的信息。“刺激-观点化-联系关系”这个历程险些是无心识地发生，但对于在咱们理解一样平常事物、语言交流有着很是主要的作用。

图注：“刺激-观点化-联系关系”的认知历程

关在这一点，Hochreiter枚举了Modern Hopfield networks（MHN）的事情，事实上这篇事情也于他本人的引导下完成的。Hopfield神经收集早于1982年就被提出，它是一种联合存储体系及二元体系的神经收集，模仿了人类影象的模子。MHN认为Transformer中的自留意力机制是带有持续状况的Hopfield收集的一种更新法则，而且从Hopfield收集的角度对于自留意力做了新的注释。此中及影象相干的一部门注释于在它挖掘了数据中的相干性布局（covariance structure），即怎样使特性同时呈现于数据中。MHN会放年夜这类共现。这类相干性可以被认为是触发了影象中的联系关系部门，从而有用地使用了已经有的常识。

Hochreiter指出，MHN可以掘客富厚的数据间的相干瓜葛，这一上风可以免今世要领轻易遭受的“捷径进修”（shot-cut learning）的危害。“捷径进修”是手印型进修到的并不是真正用在决议计划的“特性”，而只是找到了一些非凡的相干性，如飞机老是呈现于图片的上半部门等。（详情参考AI科技评论过往先容：深度进修败在“捷径”）

神经收集与符号体系可以或许更好地促成 AI 模子对于世界常识与抽象推理等能力的交融。

基在理性主义的符号体系安身在逻辑及符号表征，直接将人类的推理方式编码到呆板中，它的上风于在抽象能力强盛、利用较少的数据就能够到达比力好的成果。不外受限在实际世界常识的繁杂多样以和非布局化，很难将这些完善完好地编码到呆板可读的法则中。

而基在经验主义的神经收集直接使用年夜量的数据，经由过程隐式（无监视）或者者显式（监视）地引导模子进修到数占有用的表征，无需设计繁杂的法则，就能够到达惊异的机能。不外，神经收集也面对着注释性弱、数据饥饿等难题。

将两者有机地联合也是AI范畴学者常常思索的一个问题。有趣的是，这也能够遐想到人类汗青的不雅念之争中，理性主义及感性主义的此消彼长一样是一个争议性的话题。

Hochreiter传授则认为已经经成长了一段时间的图神经收集（GNN）是这一标的目的的代表。这也是来自觉表于IJCAI’20上的一篇查询拜访的定见，它将GNN归类为类型1的神经-符号体系。文章认为两者都有以下配合的地方：都于追求神经收集输入的富厚的向量化暗示；都采用了一种树及图的布局去表征数据及它们之间的瓜葛。Hochreiter传授认为它们于份子属性、社交收集建模、工程范畴的猜测等等夸大动态交互及推理范畴都有很好的体现。

图注：GNN图布局示用意

Hochreiter夸大，实现广义AI需要神经-符号体系的联合，以到达一种双向AI（bilateral AI）。而AI研究者也应该朝着具备更强的技术习患上及问题解决能力的AI体系努力。他还有瞻望道，欧洲于这两方面都有传统的上风，于是要使用这些上风，踊跃地追求广义AI的解决方案。

参考资料:

Hochreiter, Sepp. Toward a broad AI. Co妹妹unications of the ACM 65.4 (2022): 56-57.

Chollet, F. On the Measure of Intelligence (2019); ArXiv:1911.01547.

Luís C. Lamb, Artur d Avila Garcez, Marco Gori, Marcelo O.R. Prates, Pedro H.C. Avelar, and Moshe Y. Vardi. 2021. Graph neural networks meet neural-symbolic computing: a survey and perspective. In IJCAI 20. Article 679, 4877–4884.

雷峰网(公家号：雷峰网)

雷峰网版权文章，未经授权禁止转载。详情见转载须知。