米兰·(milan)中国官方网站-看懂这25个核心概念，就没有啃不动的机器学习论文
作者 | 李梅
编纂 | 陈彩娴
呆板进修范畴的研究进展迅速，研究者既要和时跟进最新研究，也要时时地回首经典。寒假最先，列位呆板进修er于度假之余，想必也不会忘了本身卷王的身份。
近来，Github上呈现了一个名为“ML Papers Explained”的优质项目，精选了呆板进修范畴的一些焦点观点，对于相干事情的原始论文做相识读，其实是泛博MLer的一年夜福利。
项目地址：https://github.com/dair-ai/ML-Papers-Explained
125个必学的ML观点该项目由三位数据 Rastogi、Diego Marinho、Elvis Saravia创立，旨于先容呆板进修范畴重点技能的研究论文，既有经典重现，也有最新前沿跟进，凸起论文的重要立异点，会商它们对于研究范畴的影响和其运用空间。
该项目今朝调集了25个呆板进修观点，触及计较机视觉、方针检测、文档信息处置惩罚、天然语言处置惩罚等标的目的。按种别划分，包括RCNN系列：
Transformer系列（Layout Transformers、Document Information Processing、Vision Transformers）：
以和Single Stage Object Detectors系列：
点击这些要害词，就是一篇论文详解，这些论文解读多数不是长篇累牍，而是简明简要地先容论文的焦点发明、试验成果，同时有进一步的延长思索。文章的排版也清楚了然，可以或许帮忙研究者快速且深切理解一篇论文的精髓。这里拔取两篇解读来一睹为快。
2论文解读示例TinyBERT解读
于年夜模子愈来愈成为AI焦点研究标的目的确当下，回首这些经典的语言模子论文是年夜有裨益的。好比自BERT模子呈现之后，提高模子参数目的同时降低年夜模子的计较成本，就一直是该范畴的一个热门标的目的。
Github上的这个论文解读项目就精选了多篇相干论文，以一篇对于常识蒸馏要领TinyBERT的解读为例：
这项事情由年华中科技年夜学及华为诺亚方舟试验室互助，于2019年提出。这篇解读归纳综合了TinyBERT这项事情的三个焦点孝敬：Transformer蒸馏、两步蒸馏历程、数据加强，这些要领改良了基在Transformer的模子于特定环境下的常识蒸馏效果。
起首是Transformer蒸馏。这部门先容了论文所用蒸馏要领的焦点思惟及公式，并注释了先前的蒸馏事情DistillBERT的毛病，如它利用西席模子来初始化学生模子的权重，致使二者必需有不异的内部尺寸并答应层数差别，而TinyBERT经由过程于嵌入及隐蔽丧失函数中引入可进修的投影矩阵来规避这个问题，从而使患上学生及西席模子的内部暗示于元素方面可以举行比力。
别的，解读作者还有于这里援用了另外一项相干研究，为TinyBERT的进一步事情提出了一个有趣的标的目的。
然后是两步蒸馏法。这里申明了TinyBERT所利用的蒸馏历程遵照了原始BERT的练习要领——于年夜范围的通用数据集长进行预练习以得到语言特性，然后针对于特定使命数据举行微调。以是于第一个步调中，利用于通用数据上练习的通用BERT作为西席，学生进修模拟西席的嵌入及转换层激活来创立一个通用的TinyBERT；于第二个步调中，将西席模子切换到特定使命模子并继承练习学生模子。
第三个是数据加强。这部门先容了论文作者利用了数据加强技能来于微调步调中对于特定使命的数据集举行扩大。
以后文章精简地出现了原始论文中TInyBERT的要害数据，如该模子的机能于基准测试中到达了BERT基础西席模子的96%，同时体积缩小了7.5倍，速率提高了9.4倍。
针对于原始论文的三个焦点孝敬，文章还有给出了一些有价值的思索，如特定使命的蒸馏（微调）比通用蒸馏（预练习）更主要等等。
Swin Transformer解读
再好比昔时屠榜各年夜视觉使命的Swin Transformer，由微软亚洲研究院郭百宁团队提出，是视觉范畴的研究者必读的一篇论文，这项事情也于这个论文解读项目有出色的分享：
文章起首以原始论文中的要害图表，扼要先容了Swin Transformer的基本要领和其焦点设计元素。
然后逻辑清楚地详解了Swin Transformer的架构细节，包括4个stage及Swin Transformer Block
接着列出了Swin Transformer的几项试验：
有兴致的读者可以自行前去该项目摸索一番，假如想分享本身的论文解读，也能够向该项目提交PR。据项目作者吐露，后续还有将推出notebook及讲座，帮忙各人更好地跟进研究进展。
更多内容，点击下方存眷：
未经「AI科技评论」授权，严禁以任何方式于网页、论坛、社区举行转载！
公家号转载请先于「AI科技评论」后台留言取患上授权，转载时需标注来历并插入本公家号手刺。
雷峰网(公家号：雷峰网)
雷峰网版权文章，未经授权禁止转载。详情见转载须知。
-米兰·(milan)中国官方网站
