米兰·(milan)中国官方网站-LeCun称梯度下降是最优雅的 ML 算法，Marcus：我不同意
作者｜李梅
编纂｜陈彩娴
头几天刚跟马斯克吵完架的Gary Marcus，又双叒叕跟人吵起来了，此次的打骂对于象是Yann LeCun。
一贯喜欢给深度进修泼冷水的Marcus，于今天发帖谈了谈与LeCun的「旧账」及「新仇」，并给了LeCun一个白眼：
工作是如许的。
几天前，有人于推特上发帖问: 于呆板进修中，最优雅漂亮的idea是甚么？觉得数学家及物理学家常常评论辩论美学，但咱们却很少，为何？
在是网友们都来当真答题：多重权重更新算法（multiplicative weights update）、核技巧（kernel trick）、降维（dimension reduction）、一些凸优化要领（convex optimization）、变分推理（variational inference）、熵及信息论等等。
各人还有就呆板进修研究的美学性会商了起来。有人认为，呆板进修理论家实在也于评论辩论优雅这个工具，特别是那些具备理论计较机配景或者者传统物理学配景的人。也有人言语犀利：之以是很少有人评论辩论美学，是由于呆板进修重于运用，而不是像纯粹数学那样「毫无价值」。
google年夜脑的研究员Chris Olah也来转贴评论说：
ML的优雅是一种生物学的优雅，而非数学或者物理的那种优雅。梯度降落创造了使人难以置信的布局及举动，正如进化创造了使人畏敬的天然繁杂性。
LeCun暗示：梯度降落？这我熟！
近4年来，我一直试图让我很多更看重理论的同事信赖梯度降落所具备的不成思议的气力。
LeCun于1989年发表的那篇论文，就是经由过程利用梯度降落的要领练习了CNN举行图象辨认，梯度降落厥后成为计较机视觉研究的基础理论。
LeCun还有回忆了2000年丹佛NIPS集会上的一次履历。其时一名很是卓异的ML研究职员于晚宴上问道：「咱们于ML中学到的最主要的工具是甚么？」LeCun回覆说：「梯度降落」。其时那位研究职员脸上呆头呆脑的心情注解他对于这个回覆不屑一顾。
LeCun这个「仇」记患上还有挺久......
那末，「梯度降落」是最优雅的ML算法吗？有人同意有人否决。
毫无疑难GD是已往十年来咱们于AI范畴所看到的所有前进暗地里的焦点驱动力。
LeCun正忙着与网友举行友爱交流，Marcus也来了。有会商深度进修之处，怎能没有我Marcus的身影？
简直。但主要的是，使人难以置信的气力≠无限的气力。要意想到（梯度降落）的极限，才能知道下一步要做甚么来得到前进。
LeCun一看：以是你的意思是要丢弃梯度降落了？？
1.基在梯度的优化是进修的一个要素，而不是人类级人工智能的一整套组件。2.将来会有甚么方案可能替换基在梯度的优化？你是信赖（a）无梯度优化欠好？，还有是（b）优化自己欠好？
对于此，Marcus暗示很冤屈：我的意思是DL需要「增补」，而不是「替代」！
我觉得本身又被「稻草人谬误」进犯了，附上我的论点焦点：我从未呼吁要替换深度进修/梯度降落。将来会呈现的是「其他」东西，好比与SGD一路事情的符号处置惩罚操作。
Marcus还有搬出发表在2018年的一篇文章“Deep Learning: A Critical Appraisal”作为证据：
只管有我所描写的这些问题，但我认为咱们不需要丢弃深度进修。相反，咱们需要从头界说它：不是一种通用的措施，而只是浩繁东西的一种。
还有有近来的一场keynote演讲：
咱们不需要舍弃深度进修，但咱们需要找到措施来作为对于它的增补，由于智能自己是多方面的。
可是，LeCun其实不买账，他接着Marcus的话答复：
以是「DL是措施的一种，但咱们需要新的推理组建」？接待来到我的世界！
这可把Marcus惹急了：
我给的援用是来自2018年，那篇你称之为「年夜部门都是过错的」的文章。我的主意自1992年以来就没变过，独一迟到的是你「接待来到我的世界」这句话，而这句话实在是你对于我现实态度的承认。
那就来翻翻旧账，针对于Marcus于2018年写的那篇文章，LeCun简直曾经如许评论（虾仁猪心）：
到这儿各人也能看出来，二人会商的对于象及不雅点是有错位的。LeCun但愿假如有新的方案，仍需要封装于DL下，而Marcus的意思是新的方案需要缭绕着DL举行封装，前者是关在范围的扩大，后者则是一种混淆及增补。
各人怎么看？
雷峰网(公家号：雷峰网)
雷峰网版权文章，未经授权禁止转载。详情见转载须知。
-米兰·(milan)中国官方网站
