米兰·(milan)中国官方网站-下一代 AutoAI：从模型为中心，到数据为中心

作者 | 李梅

编纂 | 陈彩娴

本年年头，知名 AI 学者吴恩达于接管 IEEE Spectrum 的采访中，呼吁各人将眼光从以模子为中央转向以数据为中央。深度进修问世以来，跟着神经收集架构趋在固定及成熟，转而寻觅改良数据的要领，已经经成为了 AI 研发的新出口。

近日，2021 年吴文俊人工智能科学前进一等奖得到者、云天励飞首席科学家王孝宇博士，于人工智能财产年会上作了题为“ Towards Automated Artificial Intelligence”的主题陈诉。陈诉中，王孝宇博士胪陈了AutoML/AutoAI 的三个成长阶段，并先容了他于云天励飞主导开发的主动化 AI 模子出产平台 YMIR。

王孝宇，现任云天励飞首席科学家，此前曾经任 Snap 研究院计较机视觉主席，NEC 美国研究院研究科学家。本科卒业在中国科技年夜学，后接踵于美国密苏里年夜学得到统计学硕士与电子计较机工程博士，重要研究范畴为计较机视觉、呆板进修与数据挖掘等，是今朝海内独一一名于体系、芯片、算法三个标的目的得到吴文俊人工智能科技前进奖的 AI 学者。

AI 科技评论对于王孝宇博士于吴文俊奖年夜会上的陈诉作了不改原意的收拾，并缭绕 AutoAI 对于王孝宇博士举行了一次深切对于话。

1 AutoML/AutoAI 的三个阶段

第一阶段：模子设计、调参主动化

当前，许多学者都已经经留意到，学术界或者者工业界的优异人材所聚焦的研发，破费太多时间用在模子布局设计以和调参，但现实上它本不该该成为研究的重要内容。以是，有无一种主动化的要领，让深度进修的收集架构于面临一个问题的时辰，能自立的演化其架构？

本年，体贴这个问题的学者们配合倡议了第一届“主动化呆板进修国际集会”（International Conference on Automated Machine Learning，AutoML Conference 2022），集会近期在2022年7月25日-7月27日于巴尔的摩举办。

于年夜会上，学者们归纳综合出了主动化呆板进修所涵盖的 10 个主题：

Neural Architecture Search（NAS）

Hyperparameter Optimization（HPO）

Combined Algorithm Selection and Hyperparameter Optimization（CASH）

Automated Data Mining

Automated Reinforcement Learning（AutoRL）

Meta-Learning and Learning to Learn

Bayesian Optimization for AutoML

Evolutionary Algorithm for AutoML

Multi-Objective Optimization for AutoML

AutoAI（including Algorithm Configuration and Selection）

NAS 研究的是神经收集布局的主动搜刮及设计。Hyperparameter Optimization （超参数优化）主动化的方针是于咱们练习神经收集的时辰，没必要再去费时挑参数，去思量哪个参数好一点、哪个参数差一点，而是可以主动猜测及寻觅。CASH 是个更难的问题，指咱们要解决一个详细问题时，可以主动化地选择哪些呆板进修要领，而不是本身手动设计。

第二阶段：简朴模子练习的软件化

假如说第一阶段的主动化重要面向专业的算法研究职员，第二阶段的体系化则面向一般的AI从业职员。他的重要方针是于给定标注好的数据的环境下，经由过程可视化的操作界面实现模子的练习。但第二阶段只是个夸姣的故事，很难现实运用，由于他缺少对于算法于现实场景中不停迭代的撑持。

第三阶段：数据迭代主动化

于算法设计主动化的基础上，正于发生一些变化。于去年的 NeurIPS 集会上，知名人工智能科学家吴恩达举办了一个 workshop，会商“模子及数据到底哪个更主要”。于设计化的工业出产中，他的不雅点是，以模子为中央（Model-centric）的技能研发已经经转化成以数据为中央（Data-centric）的技能研发。

模子及数据之间的瓜葛可以如许类比（这是我小我私家的理解，不代表其别人的见解）：模子及数据别离类比为一小我私家的 IQ 及常识贮备。假定一小我私家生成的 IQ 很高，假如从小就把他养于家里，永远不跟社会打交道，也不让他进修新的常识，那末他还有是会发展为一个很笨的人。而纵然一小我私家天资平平，但若他见过全球各地的事物，去过泰西留学，于中国做过现实的工业化出产，看过许多设计的案例，那末他可能比阿谁 IQ 高的人更厉害。以是假如如许理解，模子就有点近似在 IQ，数据就有点近似在常识。两者划一主要，但到后面你会发明常识愈来愈主要，由于只有亲历过你才能知道，“知道”比“不知道”更主要。

于工业化年夜范围成长中，各人正于逐步地从模子为中央的出产转化为以数据为中央。下图显示的是吴恩达所做的一些试验对于比：

咱们可以看到，当咱们有了一个基础算法以后，咱们可从两个维度来提高它的机能，一因此模子为中央的要领，即想尽各类措施提高模子设计的繁杂度、技能含量等；二因此数据为中央的要领，好比加数据（加数据也是有一些科学要领的，其实不是加了数据后机能必然会提高）、查抄数占有没有问题等等。他发明，以数据为中央的要领比以模子为中央的要领能更多地提高机能。咱们本身做模子出产时也获得如许一个结论：越到后面，数据的迭代愈来愈主要。由于所有模子的办事现实上是针对于某一个特定场景，利用的是特定的数据。

于咱们已往八年的实践中，咱们发明，算法的迭代事实上酿成了数据的迭代。别的一个维度看，到此刻为止，咱们已经经研发了年夜量算法模子，但从来没有一个模子是汇集了一次数据、调解一次参数就不消再调解了，许多模子都迭代了 5-6 年，迭代的重要内容就是数据。由于咱们解决差别的需求时，会碰到差别场景下的泛化性问题，咱们遇到的问题愈来愈纷歧样。这其实不是算法纷歧样的问题，而是场景纷歧样，要处置惩罚的数据也纷歧样，以是咱们要不断地更新迭代数据，才可以或许满意差别场景运用的需求。

既然算法迭代已经经酿成了数据迭代，那末有无措施把数据的迭代也主动化呢？假如算法设计可以主动化，那数据迭代也能够主动化，以是端到端地完成主动化的 AI 模子出产平台就逐渐成为可能。

而数据迭代的主动化需要技能的撑持，同时还有需要体系层级的撑持。

2 YMIR：主动化 AI 模子出产平台

为何要做AI模子出产的平台化？如今，有主动化 AI 模子出产平台需求的，已经经不单单是google、微软、Meta、IBM、苹果等至公司了，咱们海内就有不少房地产公司最先投入 AI。他们都有人材的需求，主动化的 AI 可以降低他们的成本。地产公司、物业公司，以和像宁德时代如许做电池的公司，都于逐步引入 AI 来解决现实问题。

为何会如许？由于：“AI 是新时代的电力”。AI 是一个很是基础的能力，可以提高咱们干事情的效率，AI 其实不转变行业，可是可以晋升地点行业的出产效率，以是这类影响是全方位的，已经经逐步地波和到非技能类公司了。更不消说此刻广泛的制造业，制造历程中的许多环节均可以使用到 AI 的能力。假如想提高本身的国际竞争力，晋升本身的出产质量，就需要 AI 的能力去赋能出产。

但问题又来了，咱们没有这么多 AI 人材，咱们需要更scalable的要领举行AI的研发。是以咱们就做了YMIR 如许一个主动化模子出产体系。

YMIR 是一个开源的、公益性的 AI 模子出产平台，是咱们及国际知名高校以和硅谷科技公司一路结合倡议的国际开源项目。咱们还有约请到了多家美国科技巨头公司的首席AI官担当咱们的项目参谋。该项目已经经于 GitHub 上开源。

Github 地址：https://github.com/industryessentials/ymir

YMIR：笼罩模子出产全流程，聚焦模子的快速迭代能力

有了这些技能的撑持以后，咱们打造了一个工程化的体系 YMIR。YMIR 笼罩模子出产全流程，聚焦于模子的快速迭代上。咱们不是练习出一个模子就竣事了，而是把模子（经由过程数据）迭代到可以或许满意实际场景的需求为止。

下图是整个技能的框架，左侧是模子出产的早期阶段，包括数据的预备、数据的标注、模子的练习，右侧是一个迭代的历程，包括预备挖掘数据、数据标注、更新练习集、再次做模子的练习。

研发实践：算法出产效率晋升 6 倍，算法职员需求降 1/10

咱们做了许多年夜范围研发试验，来看看于现实出产的时辰，它到底能不克不及解决问题。咱们做了年夜概 6 个月的跟踪，投入了 10 个标注职员，他们要末是高中生，要末是职业院校卒业的学生，固然也有算法职员。咱们今朝不克不及彻底离开算法职员，于面临一个问题的时辰，怎么将其分化成技能实现，这还有需要算法职员参与。同时，咱们还有需要算法职员给标注职员做一些简朴的体系培训。算法职员投入 0.3 摆布，即他们破费一天中的 30% 的时间去做这些事，其余时间他们还有要做算法研发、标注文档的审核、模子迭代环境的查看以和发明模子的问题。

咱们标注的图片总数是75万，标注图片框数 100 万。标注职员的事情内容的 90% 用于标注上，把要检测的物体标注出来，10%的时间是用于操作 YMIR 体系上。咱们于 3 个月的时间里，利用 10 个标注职员、0.3 个算法职员，出产了 50 个算法，并且这些算法年夜部门可以或许满意现实运用的需求，好比应急事务中的灭火器检测、消防栓检测等都会管理的需求。有的算法都已经经到达 97% 的精度。

这是咱们利用这套体系及不利用这套体系的投入时间对于比：

周期都是三个月摆布，没有这套体系的时辰，算法人力的投入年夜概是36人/天，标注职员的投入是24人/天，模子出产了六个算法。于投入了这一套体系以后，咱们于不异的时间周期内可以出产51个算法，出产效率年夜概是17个算法/月，而之前是3个算法/月。利用主动化平台后，算法出产效率晋升了 6 倍，可是算法职员的需求降为本来的 1/10。（公家号:雷峰网(公家号：雷峰网)）

3 对于话王孝宇

AI 科技评论：云天励飞是一家算法公司，为何会研究 AutoAI ?

王孝宇：咱们不是一家纯真出产算法的公司，咱们为客户提供端到真个AI解决方案。

同时咱们意想到咱们国度技能智能化、信息化的基础还有比力单薄。咱们但愿5年以后，公司都熟悉到 AI 的主要性，投入去做AI进级的时辰，主动化的AI平台将为他们勤俭年夜量的成本，并成为AI年夜范围普和的催化剂。而当AI成为不成或者缺的部门的时辰，才有平台化的硬件、平台化的出产力东西、平台化的办事的时机。咱们但愿YMIR AutoAI体系能鞭策行业的前进，并促使公司进入下一代人工智能技能和办事的研发。

AI 科技评论：您提到 AutoML 履历了三个成长阶段，它们的素质差别于甚么处所？

王孝宇：第一阶段重要是于学术的领域，好比学者们倡议AutoML Conference 2022，各人重要于摸索算法模子设计的哪些环节可以或许用主动化的方式去完成，以和用何种方式去实现主动化，好比怎样实现神经收集布局搜刮、超参数优化、混淆算法选择等等。

第二阶段是打造出主动化的算法模子出产体系，把第一阶段堆集的要领论沉淀为平台及体系，以低代码甚至零代码的方式实现主动化算法模子练习。但这种平台并无把模子迭代的历程落实到体系中去，没有笼罩真正模子练习的完备出产周期，以是满意不了工业化出产的需求，我把这个阶段的 AutoML 定位成一个「玩具」，玩一玩可以，可是不克不及真正用到现实使命中。由于没有任何一个工业化出产的模子只练习一次技能就能够了，它是需要迭代的。

而咱们正于做的是第三阶段的 AutoML，即打造面向财产运用的主动化模子练习平台。据咱们的市场调研，YMIR 是市场上独一一个笼罩模子出产的全生命周期的体系，它可以真正地用到工业化出产中。可以认为，初期的 AutoML 倾向在纯技能，而 YMIR 更夸大现实的工业运用。咱们做的是一个产物体系，以是咱们思量的不仅是技能的问题，还有有工程及体系的问题。

AI 科技评论：AutoML 及 AutoAI 两个观点有甚么区分？

王孝宇：我认为，咱们比力适合将 AutoML 的观点限定于它的第一阶段，它专注在技能。Machine Learning 也只是人工智能技能之一，出产体系实在其实不是传统意义的 AutoML ，只是咱们此刻还有找不到一个适合的词去归纳综合它。比拟较而言， AutoAI 能更好地归纳综合咱们此刻做的工作。

AI 科技评论：为何说数据愈来愈主要？

王孝宇：数据及算法等技能是相辅相成的。而终极技能假如要满意运用需求，数据到位是不成或者缺的一环。

算法可以将AI模子精度从 50% 提高到 60%，但还有是不克不及终极解决运用中现实的问题，而数据可以将AI体系精度从 60% 提高到 90%。由于模子的设计逐渐趋同、技能趋势成熟，这时候数据的迭代变患上比技能自己更主要。算法技能一直都很主要，但往往落地的临门一脚，需要数据来鞭策。

AI 科技评论：此刻已经经有另外 AI 模子出产平台声称其练习一个模子只需要十几分钟，您怎么看？

王孝宇：模子要真正能部署到实际体系中去、真正能跑起来才有效。宣传练习一个模子需要多短的时间是没成心义的，由于真正耗时间的是数据。模子练习可能只需要十几分钟，但百万的数据标注也需要破费一个月。于一个模子的全出产周期中，咱们起首要对于问题举行界说，以后网络数据，再去练习模子。将练习完的模子用到实际的场景中，看是否存于甚么问题，然后再次网络年夜量的数据去做迭代，这个迭代的历程是很长的。

咱们的许多算法职员将 90% 的时间都用于数据的处置惩罚上， 只有 10% 的时间用来写代码及研发模子布局。互联网的数据相对于轻易得到，但也需要年夜量的事情，由于数据的噪声很年夜，特别是跟着这一波人工智能的运用场景逐步下沉到线下，数据的噪声变患上更年夜。例如传统企业中质检员拍摄的图象数据、数据标注质量也会由于质检员的小我私家本质差异而差别。

AI 科技评论：YMIR 平台包罗数据的主动标注吗？

王孝宇：咱们提供预标注。所谓的“主动标注”是一个伪观点，最最少于现阶段没有一个平台可以真正做到彻底主动标注，此刻还有需要人去参与，好比说做井盖检测时，咱们提早给井盖画一个检测框。假如画对于了，标注职员就直接过审；假如没对于，标注职员还有要再修改。

AI 科技评论：为何你们今朝还有没有选择将 YMIR 贸易化、而是免费开源？

王孝宇：咱们海内的消费市场成长的很是好，由于有优良的挪动互联网基础。而咱们 ToB 办事的企业相较发财国度差距巨年夜，我想相称一部门缘故原由是咱们没有优良的企业信息化基础及企业办事生态。咱们实在是一个底层的传教者脚色，想要促成企业办事生态的繁荣。以是咱们的平台是彻底开源的，不管你是小我私家用还有是把它贸易化都是免费的。这简直有些抱负主义，但咱们认为，整个行业好，咱们就好，这是一种持久主义。（公家号：雷峰网）

雷峰网原创文章，未经授权禁止转载。详情见转载须知。