米兰·(milan)中国官方网站-迁移学习前沿探究探讨：低资源、领域泛化与安全迁移

作者丨王晋东

收拾丨维克多

迁徙进修是呆板进修的一个主要研究分支，偏重在将已经经进修过的常识迁徙运用在新的问题中，以加强解决新问题的能力、提高解决新问题的速率。

4月8日，于AI TIME青年科学家——AI 2000学者专场论坛上，微软亚洲研究院研究员王晋东做了《迁徙进修前沿探究切磋：低资源、范畴泛化与安全迁徙》的陈诉，他提到，今朝迁徙进修虽然于范畴自顺应标的目的有年夜量研究，相对于比力成熟。但低资源进修、安全迁徙以和范畴泛化还有有许多待解决的问题。

针对于这三方面的事情，王晋东提供了三个简朴的、新的扩大思绪，如下是演讲全文，AI科技评论做了不转变原意的收拾。

所有内容可以于作者收拾维护的Github上最风行的迁徙进修堆栈：transferlearning.xyz 上找到相干质料

今天先容迁徙进修三个标的目的的事情：低资源、范畴泛化与安全迁徙。迁徙进修英文名称：Transfer learning，基本范式是经由过程微调“重用”预练习模子。纵不雅呆板进修的绝年夜大都运用，城市采用这类预练习+微调的范式，节省成本。

上图迁徙进修范式示例，于Teacher收集模子中，颠末输入、输出一整套流程练习，已经经得到比力好的机能。Student模子想要练习，则可以固定或者者借用Teacher收集的Tk层，然后零丁按照使命微调模子，云云可以得到更好的机能。

今朝，于CV范畴，已经经存于ResNet；于NLP范畴已经经有BERT、RoBERT等模子可供利用。如上图，2016年GitHub上有个统计，关在迁徙进修的Repository共计有2220个，当前可能会更多。

上图展示了，已往五年，迁徙进修范畴于顶级集会上取患上的进展。最早是吴恩达于NIPS16上暗示迁徙进修于将来很是主要；然后，CVPR2018上有一篇最好论文是关在迁徙进修的；同年，IJCAI18上，有团队用迁徙进修的伎俩博得ADs竞赛；2019年，ACL集会上，有学者夸大迁徙进修的范式于NLP范畴很是主要，一年后，一篇迁徙进修论文拿到了该集会的最好论文提名。

一直到去年，深度进修三巨头暗示，实际的世界中，数据漫衍不不变，有须要开发快速顺应小数据集变化的迁徙模子。

事实上，跟着咱们认知愈来愈多，会逐渐熟悉到迁徙进修有许多问题待解决，需要不停开发新的要领。

于移进修范式中，假如练习数据及预练习模子恰好匹配，则能开发出机能优胜的运用；假如有较年夜差异，则可以借助“外助数据”举行批改，然后得到方针模子，进而于测试（未知）数据上得到较好体现。

从练习数据到测试数据，整套流程中，实在存于许多问题，例如：

低资源进修，即怎样于小数据环境下，怎样设置迁徙模子；

范畴自顺应，即怎样解决当练习集及测试集的数据漫衍存于误差；

范畴泛化，怎样从若干个具备差别数据漫衍的数据集(范畴)中进修一个泛化能力强的模子；

同时，整个历程还有需要时刻看重安全迁徙，确保隐私不泄露，模子不“中毒”等等。

今朝，范畴自顺应方面已经经有年夜量研究结果、该范畴相对于较成熟。但低资源进修、安全迁徙以和范畴泛化等方面还有有许多待解决的问题。

低资源进修的素质是，依靠极少量的有标签的样本去进修泛化能力强的模子，指望其于未知的数据上体现优良。但问题于在，于各类场景下怎样确保小数据中的标签仍旧含有常识、且这些常识能被迁徙到年夜量的无标签数据上。

经典的事情来自在NeurIPS 2020，其时google于论文中提出FixMatch算法，经由过程一致性正则及基在阈值的置信度来简化半监视进修，设置固定阈值调解迁徙进修的常识。

公式如上，模子进修的置信度要按照阈值来判断，假如年夜在必然的域值，就利用这些数据举行练习及猜测；不然这些数据则不介入下次练习。

那末，对于在半监视进修而言，预练习模子仅思量阈值就充足了吗？google于论文中，将阈值设置为0.95，显然这个数字是由google的试验患上出，实在咱们于真实世界中，永远没法得悉的取值是几多。

基在此，需要进修一个更真正的阈值，也即开发一种自顺应进修，让模子按照数据矫捷决议值。为了验证这一设法，咱们先回覆“选择固定阈值还有是矫捷阈值”。

如上图（左）所示，固定阈值的Loss降落的尤其慢。同时，经由过程对于比两种选择的ACC指标也能证实，如上图（中），对于在差别的种别，需要设置差别的阈值。

于“动态调解”的思惟下，咱们于NeurIPS 2021上提出FlexMatch算法，有如下几个特色：

对于在差别的种别，能举行差别水平的阈值自顺应；

对于在差别的样本，设置差别阈值；

测试阶段，需要对于阈值“一视同仁”

全程无人工滋扰，全主动进修阈值

试验成果注解，如上图（右）所示，于一样的数据集上，该要领出现正向曲线，效果比力不变。FlexMatch的设计思惟借用了“课程进修”，半监视进修经常使用给不确定样本打伪标签的计谋，伪标签的进修应该是按部就班的迁徙的历程，即由易到难的历程，然后种别的进修也是由易到难的历程。同时，FlexMatch采纳了聚类假定：种别及阈值互相关注。

以上是该思惟的流程图，及FixMatch年夜同小异，差别的地方是夸大于差别种别上，会预估进修难度，然后自顺应调解阈值。

以上是于CIFAR10/100、SVHN、STL-10及ImageNet等经常使用数据集长进行了试验，对于比了包括FixMatch、UDA、ReMixmatch等最新最强的SSL算法。试验成果如上表所示，可以发明FlexMatch于标签有限的环境下能显著改良。于未引入新的超参数、无分外计较的环境下，对于在繁杂使命，也有显著改良，且收敛速率显著晋升。

值患上一提的是，针对于该范畴，咱们开源了一个半监视算法库TorchSSL，今朝已经撑持算法有：Pi-Model，MeanTeacher，Pseudo-Label，VAT，MixMatch，UDA，ReMixMatch，FixMatch。

链接：https://github.com/TorchSSL/TorchSSL

实际世界中存于年夜量语言，但有很少的标注数据，世界上有7000种语言，经常使用的语言也就那末几十种，剩下绝年夜年夜大都都是低资源的语言。需要对于小数据举行模子练习，同时可以或许防止模子过拟合。以是，针对于低资源语言的主动语音辨认(ASR)仍旧是端到端(E2E)模子的一个挑战。

迁徙进修的解决方案是，对于资源富厚的语言举行预练习，对于资源低的语言举行微调，对于资源富厚的语言及资源低的语言举行多使命进修，同时对于资源富厚的语言举行元进修，以快速顺应资源不足的语言。

详细而言，要发明语言之间的接洽，例如上图注解，差别的语言、差别的语系之间会有相似、相干性。这些语言详细怎么漫衍，有哪些相似性？咱们的方针是怎样自顺应进修这类瓜葛。

当前重要有两种要领：隐式、显式。此中，隐式是指不合错误他们的瓜葛做任何假定，经由过程收集直接进修；显式是指假定语言之间存于线性瓜葛，简化算法。

基在上述两点，咱们就设计了两个简朴的算法MetaAdapter及SimAdapter。前者可以或许直接进修差别语言之间的瓜葛；后者假定语言之间是线性瓜葛，用留意力机制举行进修。同时，联合MetaAdapter及SimAdapter，咱们设计了SimAdapter+，能到达更好的效果。详细模子布局以下所示，只用微调数据内里的参数，就能够去完成收集的练习。

范畴泛化的目的是使用多个练习漫衍来进修未知范畴的通用模子。存于数据属性随时间动态变化，致使动态漫衍变化等问题。是以，需要捕获数据的动态漫衍变化，例如怎样量化时间序列中的数据漫衍。

针对于上述挑战，咱们提出AdaRNN。起首将时间序列中漫衍动态转变的征象界说为时序漫衍漂移 (Temporal Covariate Shift, TCS)问题，如上图所示将一段时间的数据分为A、B、C以和未知数据，可以看出A、B之间，B、C之间以和A、C之间的数据漫衍相差比力年夜，怎样解决？分两步走：先来进修数据最坏环境下的漫衍，然后匹配最坏漫衍的差距。

详细而言，采用聚类要领优化问题，然后用贪婪算法求解序列漫衍，将数据分成几段；末了，设计范畴泛化举行匹配漫衍。

咱们于四个真实数据集上测试了算法的效果，包括1个分类使命(举动辨认)及3个回归使命(空气质量猜测、用电量猜测及股价猜测)。试验成果注解，模子机能有必然的晋升。此外，咱们发明不仅于RNN上，Adaptive要领对于在Transformer布局也同样有用。

安全迁徙表现于迁徙进修的方方面面，例如怎样确保迁徙进修模子不会被滥用？怎样于包管效果的同时降低迁徙模子的繁杂性？怎样举行安全的迁徙进修、防止模子遭到歹意进犯而对于用户造成影响？

举个例子，于软件工程范畴，假如软件有歹意BUG，一旦你于开源社区下载该软件，不仅会继续该软件好的功效，也会继续它的轻易受进犯的弱点。别的，假如黑客知道用户的软件利用了哪段开源代码，即可以对于你的运用软件策动响应进犯。

咱们统计了一下，于Teacher到student的微调范式中，Student可以从Teacher中继续那些易受进犯的弱点的几率为50%~90%。换句话说，最坏的环境是Teacher怎么被进犯，Student即可以被进犯。由于Teacher的模子是公然的。

是以，安全迁徙研究的目的是怎样削减预练习模子被进犯的环境，同时还有能维护机能。这此中会解决未知进犯、DNN模子缺少可注释性等难题。

咱们思量两种进犯：匹敌进犯，例如熊猫图片中插手某些噪声，AI会将其辨认发展臂猿；后门进犯，神经收集布局自己就存于一些可能被使用的工具，例如输入数字7，然后输出数字8。

针对于安全迁徙问题，咱们提出ReMoS算法，重要思惟是：找出收集有效权重，剔除了无用权重。第一步：需要计较神经元；第二步：评估Teacher模子对于Student模子的主要性，计较二者之差；按照以上两步，就能够轻松淘汰不需要的权重。

试验成果发明，ReMoS要领险些不会显著增长计较量，其收敛速率与微调模子基本一致，显著好过重新最先练习。

上图（右）画出了剪枝以后的权重及收集层的瓜葛。此成果申明跟着收集层数据的加深，收集愈来愈与学生使命相干，是以，于深层的权庞大部门被从头初始化了。这一发明也切合深度收集可迁徙性的结论。

总结一下，今上帝要先容了三方面，低资源进修、范畴泛化以和安全迁徙。我为这三个方面提供了三个简朴的、新的扩大思绪。但愿接下来的研究者可以或许设计出更好的框架，新的理论，然后于迁徙进修的安全性方面去做一些摸索。

雷峰网雷峰网(公家号：雷峰网)

雷峰网原创文章，未经授权禁止转载。详情见转载须知。