米兰·(milan)中国官方网站-利用宇宙的能力来处理数据！「物理网络」远胜深度神经网络

---

轮到物理学家来展现神经收集的素质了：他们于测验考试让宇宙为咱们处置惩罚数据。作者 | Charlie Wood编译 | 王玥

编纂 | 岑峰

于一个隔音的板条箱里有着一个世界上最糟糕糕的神经收集。于看到数字6的图象后，这个神经收集会暂停半晌，然后显示出本身辨认出的数字：0。康奈尔年夜学的物理学家兼工程师Peter McMahon主导了这个神经收集的开发，他欠好意思地笑着说，这是由于手写的数字看起来很潦草。一名从NTT研究所来拜候McMahon试验室的博士后Logan Wright说，这个装备凡是会给出准确的谜底，不外他也认可，堕落也很常见。只管体现平平，但这类神经收集是一个创始性的研究。研究职员把板条箱翻了过来，露出的不是电脑芯片，而是一个发话器，发话器朝着固定于扬声器上的钛板歪斜。差别在运行于0及1的数字世界中的神经收集，这个装备因此声音道理运行的。当赖特给出一个数字的图象时，图象的像素被转换成音频，然后扬声器振动钛板，使患上试验室里布满了微弱的叽叽喳喳声。也就是说举行“读取”操作的是金属反响，而不是运行于硅芯片上的软件。这款装备的乐成让人感觉难以置信，就连其设计者也不破例。McMahon说：“不管震惊金属的作用是甚么，都不该该与敌手写数字举行分类有任何干系。”本年1月，康奈尔年夜学的研究小组于《Nature》杂志上发表了一篇论文，标题是“反向流传练习的深度物理神经收集（Deep physical neural networks trained with backpropagation）”。这篇论文先容了这类装备的原始浏览能力，这给McMahon及其别人带来了但愿，这告诉他们，该种装备举行屡次改良后可能会给计较带来革命性的变化。

论文链接：https://www.nature.com/articles/s41586-021-04223-6当谈到传统的呆板进修时，计较机科学家发明神经收集越年夜越好。详细缘故原由可以拜见下图中的文章，这篇叫做“计较机科学家证实为何越年夜的神经收集体现越好（Computer Scientists Prove Why Bigger Neural Networks Do Better）”的文章中证实了：假如但愿收集可以或许靠得住地记住其练习数据，那末过分参数化不仅有用，并且还有需要强迫性履行。

文章地址：https://www.quantamagazine.org/computer-scientists-prove-why-bigger-neural-networks-do-better-20220210/一个神经收集中填充更多的人工神经元(存储数值的节点)，可以提高其区别香肠犬及达尔马提亚犬的能力，也能够使其乐成完成无数其他模式辨认使命。真正巨年夜的神经收集可以或许完成写论文（如OpenAI的GPT-3）、画插图（好比OpenAI的DALL·E、DALL·E2及Google的Imagen），以和更多让人细思极恐的高难度使命。有了更多的计较能力，更伟年夜的豪举也便成为可能。这类可能性鼓动勉励着人们努力开发更强盛、更高效的计较要领。McMahon及一群志同志合的物理学家拥护一种很是规的要领：让宇宙为咱们处置惩罚数据。McMahon说：“很多物理体系天然可以或许比计较机更高效或者更快地举行某些计较。”他以风洞为例：当工程师们设计一架飞机时，他们可能会把蓝图数字化，然后花几个小时于超等计较机上模仿机翼周围的空气流动。或者者，他们也能够把飞行器放于风洞里看看能不克不及飞起来。从计较的角度来看，风洞可以当即“计较”飞机机翼与空气的彼此作用。

图注：康奈尔年夜学团队成员Peter McMahon及Tatsuhiro Onodera于为完成进修使命的各类物理体系编写步伐。图源：Dave Burbank风洞能模仿空气动力学，是一种功效专一的呆板。像McMahon如许的研究职员正于研究一种可以进修做任何工作的装备——一种可以经由过程试错来调解自身举动从而得到任何新能力的体系，好比敌手写数字举行分类，或者者区别一个元音及另外一个元音等能力。最新研究注解，像光波、超导体收集及电子分支流如许的物理体系均可以举行进修。瑞士苏黎世联邦理工学院的数学家Benjamin Scellier说，他帮忙设计了一种新的物理进修算法，“咱们不仅于重塑硬件，还有重塑了整个计较范式”。

1进修思索进修是一个极其怪异的历程，于十年之前，年夜脑是独一能做到进修的体系。恰是年夜脑的布局于必然水平上开导了计较机科学家设计深度神经收集这个今朝最风行的人工进修模子。深度神经收集是一种经由过程实践来进修的计较机步伐。深度神经收集可以被认为是一个网格：用来存储值的节点层被称为神经元，神经元经由过程线毗连到相邻层的神经元，这类线也叫“突触”。最初，这些突触只是被称为“权重”的随机数。想让收集读取4，可让第一层神经元暗示4的原始图象，可以将每一个像素的暗影作为一个值存储于响应的神经元中。然后收集举行“思索”，一层一层地挪动，用神经元值乘以突触权值来填充下一层神经元。末了一层中值最年夜的神经元就是神经收集的谜底。例如，假如这是第二个神经元，收集预测本身看到了2。为了教收集做出更智慧的预测，进修算法会反向事情。于每一次测验考试以后，它管帐算出预测及准确谜底之间的差值(于咱们的例子中，这个差值将由末了一层的第四个神经元的高值及其他处所的低值暗示)。然后，算法经由过程收集一层一层地往回走，计较怎样调解权值，以使终极神经元的值按照需要上升或者降落。这个历程被称为反向流传，是深度进修的焦点。经由过程反复屡次预测及调解，反向流传将权重指导到一组数字，这些数字将经由过程一幅图象倡议的级联乘法输出成果。

图源：Quanta 杂志Merrill Sherman但与年夜脑的思索比拟，人工神经收集中的数字化进修看起来效率很是低。于天天摄取不到2000卡路里热量的环境下，一小我私家类儿童于几年内就能学会措辞、浏览、玩游戏以和更多的工具。于云云有限的能量前提下，可以或许流利对于话的GPT-3神经收集可能需要一千年才能学会谈天。从物理学家的角度来看，一个年夜型数字神经收集只是试图去做过量的数学运算。如今最年夜的神经收集必需记载及把持跨越5000亿个数字。这个惊人的数字出自下图中的论文“Pathways 语言模子 (PaLM)：扩大到 5400 亿个参数以实现冲破性机能（Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance）”：

论文链接：https://ai.谷歌blog.com/2022/04/pathways-language-model-palm-scaling-to.html与此同时，宇宙不停呈现的使命远远凌驾了计较机菲薄单薄的计较能力的极限。一个房间里可能有数万亿的空气份子于四处弹跳。对于在一个成熟的碰撞模仿来讲，这是计较机没法追踪的挪动对于象的数目，但空气自己却能轻松决议本身时时刻刻的举动。咱们今朝的挑战是成立一个可以或许天然完成人工智能所需两个历程的物理体系，这两个历程别离是——对于图象举行分类的“思索”，以和准确分类这种图象所需的“进修”。一个把握了这两项使命的体系才是真正使用了宇宙的数学能力，而不单单是做数学计较。“咱们从来没有计较过3.532乘以1.567之类的，”Scellier说。“体系管帐算，不外是经由过程遵照物理定律的方式隐含地计较。”

2思索部门McMahon及互助学者们已经经于这个谜题的“思索”部门取患了进展。于新冠疫情发生前的几个月，McMahon于康奈尔年夜学成立了试验室，他细心思索了一个希奇的发明。多年来，体现最精彩的图象辨认神经收集已经经变患上愈来愈深度。也就是说，有更多层的收集可以或许更好地吸收一堆像素并给出标签，如“狮子狗”。这一趋向开导数学家们研究神经收集实现的转换（从像素到“狮子狗”），于2017年几个小组于论文“肆意深度残差神经收集的可逆布局（Reversible Architectures for Arbitrarily Deep Residual Neural Networks）”中提出，神经收集的举动是一个光滑数学函数的类似版本。

论文地址：https://arxiv.org/abs/1709.03698于数学中，函数将输入（凡是是x值）转换为输出（曲线于这个位置的y值或者高度）。于特定类型的神经收集中，层数越多效果越好，由于函数不那末乱七八糟，更靠近在某种抱负曲线。这项研究引起了McMahon的思索。或许经由过程一个平稳变化的物理体系，人们可以避开数字要领中固有的壅闭。窍门于在找到一种驯化繁杂体系的要领——经由过程练习来调解它的举动。McMahon及他的互助者选择钛板作为如许一个体系，由于钛板的很多振动模式以繁杂的方式混淆传入的声音。为了使平板像神经收集同样事情，他们输入一种编码输入图象的声音（例如手写的6）及另外一种暗示突触权重的声音。声音的峰值及波谷需要于准确的时间撞击钛板，以便装备归并声音并给出谜底——例如，一个新的声音于六毫秒内最响，代表“6”的分类。

图注：康奈尔年夜学的一个研究小组练习了三种差别的物理体系来“读取”手写数字：从左到右别离是一个振动的钛板、一个晶体及一个电子电路。图源：左图中图为康奈尔年夜学Rob Kurcoba摄；右图为Quanta 杂志 Charlie Wood摄。该小组还有于一个光学体系中实现了他们的方案——输入图象及权重被编码于两束由晶体混淆于一路的光束中——以和一个可以或许近似地变换输入的电子电路中。原则上，任何具备拜占庭举动的体系均可以云云，可是研究职员信赖光学体系具备非凡的远景。晶体不仅能极快地混淆光芒，并且光芒还有包罗了关在世界的富厚数据。McMahon想象他的光学神经收集的微缩版本有一天会成为主动驾驶汽车的眼睛，可以或许辨认泊车标记及行人，然后将信息输入汽车的计较机芯片，就像咱们的视网膜对于进来的光举行一些基本的视觉处置惩罚同样。然而，这些体系的致命弱点于在，练习它们需要回归数字世界。反向流传触及到反向运行神经收集，可是底片及晶体不克不及容易地分化声音及光。是以，该团队为每一个物理体系构建了一个数字模子。于条记本电脑上反转这些模子，他们可使用反向流传算法来计较怎样调解权重以给出正确的谜底。经由过程这一练习，这块钛板学会了敌手写数字举行分类，准确率为87%。而上图中的电路及激光的精度别离到达93%及97%。研究成果注解“不仅尺度的神经收集可以经由过程反向流传举行练习，”法国国度科学研究中央（CNRS）的物理学家Julie Grollier说，“这太美了。”该研究小组的振动钛板还有没有使计较的效率靠近年夜脑的惊人效率，这个装备甚至不和数字神经收集的速率。但McMahon认为他的装备十分惊人，由于这类装备证实了人不只可以用年夜脑或者电脑芯片来思索。“任何物理体系均可所以神经收集。”他说。

3进修部门另外一个的难题是——怎样让一个体系彻底自立进修。德国马克斯·普朗克光科学研究所的物理学家Florian Marquardt认为，有一种要领是制作一台倒着运行的呆板。去年，他及一个互助者于论文“基在Hamiltonian回波反向流传的自进修呆板（Self-learning Machines based on Hamiltonian Echo Backpropagation）”中提出了一个可以于如许的体系上运行的反向流传算法的物理模仿。

论文地址：https://arxiv.org/abs/2103.04992为了证实这是可行的，他们用数字技能模仿了一种近似在McMahon装备的激光装配，将可调的权重编码于一种光波中，与另外一种输入波（编码，好比图象）混淆。他们使输出更靠近准确的谜底，并利用光学组件来分化波，反转这个历程。“神奇的是，” Marquardt说，“当你用不异的输入再一次测验考试装备时，输出偏向在更靠近你想要的位置。” 接下来，他们正于与试验职员互助成立如许一个体系。可是专注在反向运行的体系限定了选择，以是其他研究职员将反向流传彻底抛于了后面。由于知道年夜脑进修的方式不是尺度的反向流传，以是他们的研究没有遭到冲击，反而更进一步。“年夜脑不是反向流传的，”斯塞利尔说，当神经元A与神经元B交流时，“流传是单向的。”

图注：CNRS的物理学家Julie Grollier实现了一种物理进修算法，被视为反向流传的一种有但愿的替换方案。图源：Christophe Caudroy2017年，Scellier及蒙特利尔年夜学的计较机科学家Yoshua Bengio开发了一种称为均衡流传的单向进修要领。咱们可以如许相识其运作方式：想象一个像神经元同样的箭头收集，它们的标的目的暗示0或者1，由作为突触权重的弹簧毗连于网格中。弹簧越松，毗连的箭头就越不易对于齐。起首，扭转最左侧一行的箭头，以反应手写数字的像素，然后于连结最左侧一行的箭头稳定，让这类扰动经由过程弹簧扩散出去动弹其他箭头。当翻转住手时，最右侧的箭头给出了谜底。要害是，咱们不需要经由过程翻转箭头来练习这个体系。相反，咱们可以于收集底部毗连另外一组显示准确谜底的箭头，这些准确的箭头会使上面这组箭头翻转，整个网格就进入了一个新的均衡状况。末了，将箭头的新标的目的与旧标的目的举行比力，并响应地拧紧或者松开每一个弹簧。颠末屡次实验，弹簧得到了更智慧的张力，Scellier及Bengio已经经证实，这类张力相称在反向流传。“人们认为物理神经收集及反向流传之间不成能存于接洽，” Grollier说，“近来环境发生了变化，这很是使人高兴。”关在均衡流传的最初事情都是理论性的。但于一篇行将发表的文章中，Grollier及CNRS的物理学家Jérémie Laydevant描写了该算法于D-Wave公司制造的量子退火呆板上的履行。该装配有一个由数千个彼此作用的超导体构成的收集，它们可以像弹簧毗连的箭头同样，天然地计较出“弹簧”应该怎样更新。然而，体系不克不及主动更新这些突触权重。

4实现闭环至少有一个团队已经经网络了一些部件来构建一个用物理学来完成所有繁重事情的电子电路，其能完成的事情有思索、进修及更新权重。宾夕法尼亚年夜学的物理学家Sam Dillavou说：“咱们已经经可以或许为一个小体系闭合回路。”

图注：宾夕法尼亚年夜学的物理学家Sam Dillavou修补了一个可以于进修历程中自我修改的电路。Dillavou及互助者的方针是模拟年夜脑，年夜脑才是真实的智能，其是一个相对于同一的体系，不需要任何单一布局来发号出令。“每一个神经元都于做本身的工作，”他说。为此，他们构建了一个自进修电路，于这个电路中作为突触权重的是可变电阻，神经元是电阻之间丈量的电压。为了对于给定的输入举行分类，这个电路将数据转换为施加到几个节点上的电压。电畅通过电路，寻觅耗散能量起码的路径，并于不变时转变电压。谜底就是指定输出节点的电压。该设法的立异于在具备挑战性的进修步调，为此他们设计了一种近似在平衡流传的方案，称为耦合进修（coupled learning）。当一个电路吸收数据并“猜出”一个成果时，另外一个不异的电路从准确谜底最先，并将其纳入其举动中。末了，毗连每一一对于电阻的电子器件会主动比力它们的值，并调解它们，以实现“更智能”的配置。这个小组于去年炎天的预印本（到场下图）中描写了他们的基本电路，这篇名叫“去中央化证实，物理驱动进修（Demonstration of Decentralized, Physics-Driven Learning）”的论文中显示这个电路可以进修区别三种类型的花，正确率到达95%。而此刻他们正于研发一款更快、功效更强的装备。

论文地址：https://arxiv.org/abs/2108.00275即即是这类进级也没法击败开始进的硅芯片。但制作这些体系的物理学家们思疑，与模仿收集比拟，只管数字神经收集如今看起来很强盛，但终极也会显患上迟缓及不足。数字神经收集只能扩展到必然水平，不然就会堕入过分的计较，但更年夜的物理收集只需要做本身就好。“这是一个很是年夜的、快速成长的、变化无穷的范畴，我笃信一些很是强盛的计较机将会用这些道理制造出来。”Dillavou说。

原文链接：

https://www.quantamagazine.org/how-to-make-the-universe-think-for-us-20220531/

雷峰网(公家号：雷峰网)雷峰网

雷峰网版权文章，未经授权禁止转载。详情见转载须知。

-米兰·(milan)中国官方网站