米兰·(milan)中国官方网站-Yann LeCun最新访谈：能量模型是通向自主人工智能系统的起点

---

导语：「能量模子」斥地了通往「抽象猜测」的门路，为可以或许举行计划的人工智能提供了「同一世界模子」。 Yann LeCun认为，「能量模子」斥地了通往「抽象猜测」的门路，为可以或许举行计划的人工智能提供了「同一世界模子」。来历 | ZDNet编译 | 钱磊

编纂 | 陈彩娴

继自监视进修以后，Yann LeCun 于接管 ZDNet 的最新访谈中又着重切磋了他于几年前曾经年夜篇幅推许的观点：「能量模子」（energy-based models）。

甚么是能量模子？

Yoshua Bengio、 Ian Goodfellow 及 Aaron Courville 等人于2019年出书的《深度进修》（又称「花书」）一书中将「几率函数」界说为「描写了一个或者一组随机变量出现其每一种可能状况的可能性巨细」，而能量模子则简化了两个变量之间的一致性。能量模子借用统计物理学的观点，假定两个变量之间的能量于它们不相容的环境下上升，于一致的环境下则降落。这可以消弭将几率漫衍“尺度化”历程中呈现的繁杂性。

于呆板进修范畴，能量模子是一个「老」观点，至少可以追溯到20世纪80年月。但最近几年来，愈来愈多结果使能量模子变患上更可行。据ZDNet报导，最近几年来跟着对于能量模子的思索不停深切，LeCun缭绕该观点做了频频演讲，包括2019年于普林斯顿高档研究院的一次演讲。

近来，LeCun于两篇论文中描写了能量模子的研究近况：一篇是 LeCun 与Facebook AI 试验室（FAIR）的同事在去年炎天配合发表的“Barlow Twins”；另外一篇则是他与 FAIR、Inria 互助发表在本年1月的“VICReg”。

正如LeCun于采访中所说，他今朝的研究与量子电动力学有一些有趣的相似的地方，只管这不是他的重点。他存眷的重点是人工智能体系的猜测可以前进到何种水平。

LeCun本身开发了一种叫做“结合嵌入模子（joint embedding model）”的现代能量模子，他信赖这能为深度进修体系带来“巨年夜的上风”，这个上风就是“抽象暗示空间中的猜测”。

LeCun认为，这类模子为“猜测世界的抽象表征”斥地了门路。抽象猜测能力是深度进修体系广义上的成长远景，当体系处在揣度模式时，这类抽象猜测呆板的“仓库”可以分层天生计划场景。

这类模子多是实现LeCun心目中的同一“世界模子”的主要东西，而这类同一的“世界模子”将推进实现贰心目中的自立人工智能，自立人工智能可以或许经由过程对于场景之间的相干性及图象、语音及其他情势输入数据的相干性建模来举行计划。

如下是ZDNet与LeCun经由过程Zoom的对于话记载，内容有所编纂：

1自监视进修 vs. 无监视进修

ZDNet：起首，为了帮忙咱们进修，请谈谈您常常说的呆板进修中的「自监视进修」及「无监视进修」。无监视进修及自监视进修的瓜葛是甚么？

Yann LeCun： 嗯，我认为自监视进修是一种非凡的无监视进修方式。无监视进修这个术语有点繁杂，于呆板进修的配景下不是很好界说。当提到无监视进修时，人们会想到聚类算法及PCA（主身分阐发），以和各类可视化要领。

而自监视进修基本上是去测验考试利用对于在非监视进修来讲相称在监视进修的要领：也就是利用了监视进修要领，但练习的神经收集没有报酬提供的标签。好比说咱们可以取一段视频，给呆板看一段视频片断，然后让它猜测接下来会发生甚么。或者者也能够给呆板看两段视频，然后问它这个视频是另外一个视频的后续吗？咱们要做的不是让呆板猜测后续，而是让它告诉你这两个场景是否相容。或者者向呆板展示统一个物体的两个差别的视图，然后问它，这两个工具是统一个物体吗？于你给体系的所有数据基本上都是输入数据的环境下，自监视进修素质上没有真人的监视。

ZDNet：最近几年来您做了频频演讲，包括2019年于新泽西州普林斯顿高档研究院（IAS）的演讲，以和近来2月份baidu主理的关在深度进修基在能量的要领的演讲。这些基在能量的模子属在非监视进修的自监视部门吗？

YL：是的。基在能量的模子中一切都能被假定。好比我给你X及Y；X是不雅察，模子应该捕捉Y关在X的相干性。例如，X是一个视频的片断，Y是统一视频的另外一个片断，向体系展示X及Y，体系就应该告诉我Y是否是X的后续。或者者说给体系展示两张图片，体系就应该告诉我两张图是相互相干还有是两张彻底差别的图片。能量权衡的是相容性或者不相容性，对于吧？假如X及Y是相容的，能量就是零，假如能量比力年夜，那X及Y就是不相容的。

咱们有两种要领来练习基在能量的模子。第一种方式是向模子展示一对于相容的X及Y，第二种是向模子展示一对于不相容的X及Y，好比连不上的两个视频片断，两个底子不不异的物体的图片。对于在这些不相容的XY对于，咱们需要设置高能量，而对于在相容的XY对于则降低能量值。

这是对于比的要领。至少于某些环境下，我发现这类对于比喻法是为了一种叫做“孪生收集（siamese nets）”的自监视进修要领。我之前很喜欢这类要领，但此刻我转变主张了。我认为这类要领注定要掉败。我不认为对于比喻法无用，但必定是有不足的地方的，由于这类要领不克不及很好地顺应这些工具的维度。正如那句名言：幸福的家庭都是相似的；不幸的家庭各有各的不幸。

两个图象不异或者相容的环境比力少，但是两幅图象却可以有许多差别之处，并且空间是高维的。以是，基本上咱们需要指数级量的对于比能量样原来鞭策这些对于比喻法的事情。对于比喻法仍旧很受接待，但于我看来这类方式的能力真的颇有限。以是我更喜欢非对于比法或者者所谓的正则法。

而这些要领都是基在如许一种设法，即组织能量函数时，你付与其低能量值的空间体积是有限的。这可以用丧失函数或者能量函数中的一个术语来注释，这个术语指的是最小化空间的体积，空间体积就能够某种方式使能量降低。咱们有许多如许的例子，此中一个例子就是积分稀少编码，这个观点可以追溯到20世纪90年月。最近我真正感应有兴致的是那些运用在自监视进修的非对于比喻法。

2能量模子是将来的标的目的吗？

ZDNet：你于演讲里会商过 正则化的基在潜变量能量的模子 （regularized latent variable energy-based model），也就是 RLVEB。你认为RLVEB就是将来的成长标的目的吗？RLVEB是否能引领2020年月或者者2030年月的成长？

YL：让我这么说吧：自从卷积收集以后，我对于呆板进修的工具就没那末感兴致了。（笑）我不确定RLVEB是否是新的卷积，但我对于此真的很高兴。当我于IAS演讲时，我满脑子都是RLVEB。RLVEB是天生模子，假如你想把它运用到视频猜测之类的使命上，你给它一段视频，可让它猜测下一段视频。

于已往的几年里，我也转变了我的设法。此刻，我最喜欢的模子不是从X猜测Y的天生模子，而是我所谓的结合嵌入模子。咱们取X，经由过程一个编码器运行它（假如你想的话，也能够用一个神经收集来运行）；取Y，并经由过程另外一个编码器运行它；然后猜测就会发生于这个抽象的暗示空间中。这就是一个巨年夜的上风。

为何我转变了主张？我转变主张是由于咱们以前不知道该怎么做。此刻咱们有一些要领可以派上用处。这些要领是于已往的两年中呈现的。我正于鞭策的现实上有两个要领：一个叫VIC-REG，另外一个叫Barlow Twins。

ZDNet：那末于接下来的5到10年里，你认为咱们会于这方面看到甚么进展呢？

YL：我认为此刻咱们至少有了一种要领来让咱们研究可以进修于抽象空间中举行猜测的体系。于进修抽象猜测的同时，体系也能够进修猜测于抽象空间中跟着时间或者状况的变化会发生甚么。对于在一个自立的智能体系来讲，这长短常主要的部门，例如，体系有某种世界模子，可让你提早猜测世界将会发生甚么，也能够猜测举动的后果。是以，给定对于世界状况的预计以和你正于采纳的步履，体系会给到你一个于你采纳步履后世界状况的猜测。

图注：基在能量的模子：“VICREG”是“自监视进修的方差-稳定性-协方差从头正则化（Variance-Invariance-Covariance Re-Gularization For Self-Supervised Learning）”的缩写，是LeCun于基在能量的神经收集架构上的最新研究结果。一组图象于两个差别的管道中转换，每一个扭曲后的图象会被发送到编码器，该编码器本色上是对于图象举行压缩。然后，投影仪（也被称为“扩大器”）会将这些压缩的暗示解压成终极的“嵌入”，即 Z 维。正由于这两种嵌入之间的相似性不受其扭曲的影响，步伐才可以或许找到适合的低能量级别去辨认出某些工具。（图源：FAIR）

这个猜测还有取决在一些你没法不雅察到的潜变量。好比，当你开车的时辰，你的前面有一辆车。这辆车可能刹车，可能加快，左转或者右转。你不成能提早知道车辆的环境，这就是潜变量。以是总体架构是如许的，取最初的视频集X及将来的视频Y，将X、Y嵌入到某个神经收集中，从而获得X及Y的两个抽象暗示。然后于这个空间里做一个关在某个潜变量的基在能量的猜测模子。

重点是，这个模子于猜测世界抽象暗示的时辰，是不克不及猜测世界上所有的细节的，由于这个世界上的许多细节多是不相干的。于路上驾车的时辰，可能会于路边的一棵树上看到一片叶子上很是繁杂的部门。模子是绝对于不成能猜测这个的，或者者说你也不想投入任何精神或者资源来猜测这点。以是这个编码器素质上可以于被问到以前就消弭这些信息。

ZDNet：你认为于将来的5到10年会呈现一些详细的里程碑吗？或者者方针？

YL：我预感到的是，咱们可使用「JEPA」（Joint Embedding Predictive Architecture）架构来相识世界的猜测模子，以一种自监视的方式进修感知暗示而又不需要为特定的使命练习体系。由于体系进修了X及Y的抽象暗示，咱们可以把它们重叠起来。以是，一旦咱们学会了对于周围世界的抽象暗示，可以或许做出短时间猜测了，咱们就能够叠加另外一层，从而可以进修更抽象的暗示并得到做出持久猜测的能力。

以是让体系经由过程不雅察及不雅看视频来相识世界是怎样运作是很主要的。由于婴儿基本上是经由过程不雅察这个世界来进修的，进修直不雅的物理，进修咱们所知道的关在这个世界的一切。动物也会如许做。咱们想让咱们的呆板经由过程不雅察来学会相识世界是怎样运作的。可是到今朝为止，咱们还有没有做到这一点。是以于我看来，利用JEPA并以分层的方式查抄它们，是实现体系不雅察进修的路子。

JEPA能赐与深度进修呆板的另外一个利益是推理能力。今朝有一个争议：深度进修擅长的只有感知，由于输入及输出是明确的。但若你想要一个体系具有推理能力与计划能力呢？世上存于具有必然的推理及计划能力的繁杂模子，但如许的模子其实不多。

那末，咱们怎样让呆板去计划呢？假如咱们有一个世界猜测模子，假如咱们有一个能让体系猜测本身举动后果的模子，就能够让体系想象其步履线路并猜测将会孕育发生的成果。然后将这些信息提供应一些内部函数，这些函数会描写某个使命是否已经完成。接着，经由过程优化，可能利用梯度降落法找出使方针最小化的一系列步履。咱们此刻不是于会商进修；咱们此刻会商的是推理与计划。事实上，我此刻描写的是一种经典的规划及模子猜测节制的最优节制要领。

最优节制的差别的地方于在，咱们用的是一个颠末进修的世界模子，而不是一种固定的模子。咱们的模子包罗了所有可以处置惩罚这个世界的不确定性的变量，是以可以成为自立智能体系的基础，可以或许猜测将来并规划一系列步履。

我想从这里飞到旧金山，那我就需要去机场，赶飞机等等。要去机场，我就需要脱离我的年夜楼，沿着街道走一段，然后打一辆出租车。要脱离我的年夜楼，我就需要脱离我的椅子，走向门，打开门，走向电梯或者楼梯。要做到走向电梯或者者楼梯，我需要搞清晰怎样把这些动作分化成一毫秒一毫秒的肌肉节制。这就叫做分层计划。咱们但愿体系可以或许做到这一点，但今朝咱们还有不克不及真正做到云云。这些通用架构可以为咱们提供这些工具。这是我的但愿。

3能量模子与其他要领之间的千丝万缕

ZDNet：你描写能量模子的方式听起来有点像量子电动力学的内容，好比 Dirac-Feynman 路径积分或者者波函数。这只是一种比方，还有是说或许这二者现实上是一致的？

YL：这其实不是比方，并且二者实在是有些差别的，并不是彻底一致。好比你有一个潜变量，这个潜变量可以取许多差别的值，凡是你要做的就是遍历这个潜变量所有可能的值。这可能有些不切现实。以是你可以从某个漫衍中对于潜变量抽样，然后计较可能成果的调集。可是，现实上你终极要计较的是一个价钱函数，这个价钱函数给出了一个你对于潜变量的可能值求平均的指望值。这看起来很像一个路径积分。路径积分现实上就是计较多条路径的能量之及，至少于传统意义上是云云。于量子要领中，你不是于把几率或者分数相加，而是于把复数相加，而复数可以互相抵消。虽然咱们一直于思量如许的工作（至少我一直于思索一样的工具），但咱们的研究中没有如许的内容。这个于上下文中没有效到，可是潜变量的边际化及路径/轨迹的总及长短常相似的。

ZDNe：你曾经做出两个相称惊人的断言。一是深度进修的几率要领已经颠末时。二是你说你正于会商的基在能源的模子与20世纪80年月的要领有一些接洽，例如 Hopfield 收集。请问能具体申明一下这两点吗？

YL：咱们需要抛却几率模子的缘故原由是，咱们可以对于两个变量X及Y之间的相干性建模，但若Y是高维的，怎样暗示Y上的漫衍呢？咱们真的不知道该怎么做。咱们只能写出一个很是简朴的漫衍，一个高斯漫衍或者者高斯漫衍的混淆漫衍之类的。假如你想用复数几率去器量，咱们不知道怎么做，或者者说咱们知道的独一要领就是经由过程能量函数去器量。以是咱们只能写一个能量函数，此中低能对于应着高几率，高能对于应着低几率，这就是物理学家理解能量的方式，对于吧？问题是咱们一直不太理解怎样尺度化。统计学、呆板进修及计较物理学等范畴里有许多论文都是有关怎样解决这个棘手问题的。

我所提倡的是忘失几率模子，只思量能量函数自己。它甚至不需要使能量酿成可以尺度化的情势。终极的成果是，你应该有一种丧失函数，当你练习你的数据模子，使患上相容的能量函数低而不相容的能量函数高的时辰，你就把丧失函数最小化。就是这么简朴。

ZDNet：及Hopfield收集之间的瓜葛呢？

YL：Hopfield 收集及 Boltzmann 呆板固然与此相干。Hopfield 收集因此一种非对于比的方式练习的能量模子，但效率很低，以是没甚么人用Hopfield 收集。

Boltzmann 呆板基本上是Hopfield收集的一个对于比版本， 你获得数据样本并降低其能量，你天生其他样本并提高其能量。这类要领于某种水平上更使人满足，但也不是颇有效，由于这类对于比的要领不克不及很好地扩大。由于这个缘故原由，这个要领也没有被利用。

ZDNet：那末，正则化的、基在潜变量能量的模子（RLVEB）真的可以被认为是Hopfield 收集的2.0版本吗？

YL：我不那末认为。

4“意识是人类年夜脑局限性的成果”

ZDNet：你提出了另外一个相称惊人的论断，即“只有一个世界模子”并认为意识是人类年夜脑中“一个世界模子的决心配置”。你说这多是个疯狂的假定。这是你的料想吗？这究竟是一个疯狂的假定，还有是有甚么证据可以证实呢？于这个案例里有甚么证据呢？

YL：这是个料想，一个疯狂的假想。任何干在意识的工具，于某种水平上都是料想。由于咱们一最先其实不知道意识是甚么。我认为意识是一种错觉。我想表达的是，意识被认为是人类及一些动物拥有的一种能力，咱们认为意识表现了这些生物的聪明，这有点好笑。我认为意识是咱们年夜脑局限性的成果，由于咱们的年夜脑中有一个单一的、近似在世界模子的引擎，咱们需要一些工具来节制这个引擎，这个工具就是意识。在是咱们孕育发生了人类成心识的错觉。假如咱们的年夜脑变患上无穷年夜，再也不有限定，咱们就不需要意识了。

至少有一些证据注解咱们脑中或者多或者少存于一个单一的模仿引擎。好比，咱们基本上于统一时间只能测验考试一项意识使命，咱们专注在使命，咱们会想象咱们规划的举动的后果。你一次只能做一件事，或者者你可以同时做多件事，但这些多个使命是咱们练习本身不消思索就能完成的潜意识举动。好比咱们可以一边开车一边及身旁的人措辞，只要咱们训练开车的时间充足长，开车就已经经成为一种下意识的举动。以是于刚最先学开车的几个小时里，咱们做不到一边开车一边措辞，咱们必需集中精神才能完成驾驶，由于咱们必需利用咱们的世界模子猜测引擎来找出所有可能发生的可怕环境。

ZDNet：假如这只是一种料想，那末它对于你今朝的事情并无甚么现实意义，不是吗？

YL：不，有必然意义。我提出的这个自立人工智能模子有一个可配置的世界模子模仿引擎，其目的是计划及想象将来，弥补你没法彻底不雅察到的空缺。可配置的单一模子会带来计较上风，可让体系于使命之间同享常识，这些常识是你经由过程不雅察或者基本逻辑之类的工具学到的。利用你配置的年夜模子要比利用一个彻底自力的模子来处置惩罚差别的使命要有用患上多，由于差别的使命可能需要零丁练习。可是咱们已经经看到了，对于吧？之前于Facebook（当Meta名字还有叫Facebook）的时辰，咱们用视觉来阐发图象，做排序及过滤，基本上对于在差别的使命，咱们都有专门的神经收集及专门的卷积收集来解决。而此刻咱们有一个年夜的收集，甚么使命都能处置惩罚。咱们之前有好几个ConvNets，此刻咱们只有一个。

咱们看到了这类简化。咱们此刻甚至有可以做所有工作的架构：统一个架构就能够处置惩罚视觉、文字、白话。这类架构必需别离接管三个使命的练习，而这个架构 data2vec，是一种自监视的要领。

ZDNet：真成心思！感激你的分享。

原文链接：

https://www.zdnet.com/article/metas-ai-luminary-lecun-explores-deep-learnings-energy-frontier/

雷峰网(公家号：雷峰网)

雷峰网版权文章，未经授权禁止转载。详情见转载须知。

-米兰·(milan)中国官方网站