米兰·(milan)中国官方网站-斯坦福李飞飞团队新研究登 Nature 子刊：实现可信 AI，数据的设计、完善、评估是关键
于当前 AI 模子的开发以模子为中央转向以数据为中央的趋向下，数据的质量变患上尤为主要。
于以往的 AI 开发流程中，数据集凡是是固定的，开发事情的重点是迭代模子架构或者练习历程来提高基准机能。而此刻，数据迭代成为重心，是以咱们需要更体系的要领来评估、筛选、洗濯及解释用在练习及测试 AI 模子的数据。
近来，斯坦福年夜学计较机科学系的Weixin Liang、李飞飞等人于《天然-呆板智能》上配合发表了一篇题为“Advances, challenges and opportunities in creating data for trustworthy AI”的文章，于 AI 数据全流程的各个环节上会商了包管数据质量的要害因素及要领。
论文地址：https://www.nature.com/articles/s42256-022-00516-1.epdf?sharing_token=VPzI-KWAm8tLG_BiXJnV9tRgN0jAjWel9jnR3ZoTv0MRS1pu9dXg73FQ0NTrwhu7Hi_VBEr6peszIAFc6XO1tdlvV1lLJQtOvUFnSXpvW6_nu0Knc_dRekx6lyZNc6PcM1nslocIcut_qNW9OUg1IsbCfuL058R4MsYFqyzlb2E%3DAI 数据流程中的重要步调包括：数据设计（数据的收罗及记载）、数据改善（数据筛选、洗濯、标注、加强）以和用在评估及监控 AI 模子的数据计谋，此中的每个环节城市影响终极 AI 模子的可托度。
图1：从数据设计到评估的以数据为中央的要领开发线路图。
1AI 的数据设计确定了一小我私家工智能运用步伐后，开发 AI 模子第一步就是设计数据（即辨认及记载数据来历）。
设计该当是一个迭代历程——用实验数据来开发初始的 AI 模子，然后再网络分外数据来修补模子的局限性。设计的要害尺度是确保数据合用在使命，并笼罩充足的规模来代表模子可能碰到的差别用户及场景。
而今朝用在开发 AI 的数据集凡是笼罩规模有限或者者具备误差。例如于医疗 AI 中，用在开发算法的患者数据的网络于地域漫衍上不可比例，这会限定 AI 模子对于差别人群的合用性。
提高数据笼罩率的一种要领，是让更广泛的社区介入数据的创立。今朝最年夜的大众数据集 Co妹妹on Voice 项目就是一个例证，该数据集包罗了来自 166000 多名介入者的 76 种语言的 11192 小时语音转录。
而今世表性数据难以得到时，可以用合成数据来弥补笼罩空缺。好比真实人脸的网络凡是触及隐私问题及抽样误差，而由深度天生模子创立的合成人脸此刻已经经被用在减轻数据不服衡及误差。于医疗保健范畴，可以同享合成医疗记载来促成常识发明，而无需披露现实的患者信息。于呆板人技能中，真实世界的挑战是最终的测试平台，也能够用高保真模仿情况来让智能体于繁杂及持久使命中实现更快、更安全的进修。
但合成数据也存于一些问题。合成数据与实际数据之间老是存于差距，以是于将基在合成数据练习的 AI 模子转移到实际世界时，凡是会呈现机能降落。假如模仿器的设计不思量少数群体，那末合成数据也会加重数据差异，而 AI 模子的机能高度依靠其练习及评估数据的上下文，是以于尺度化及透明的陈诉中记载数据设计地上下文就很是主要。
此刻，研究职员已经经创立了各类「数据养分标签」（data nutrition labels）来捕捉有关数据设计及解释历程的元数据（metadata）。有效的元数据包括数据集中介入者的性别、性别、种族及地舆位置的统计数据，这有助在发明是否有代表性不足的亚群未被笼罩。数据来历也是一种元数据，它跟踪数据的来历及时间以和孕育发生数据的历程及要领。
元数据可以生存于一个专门的数据设计文档里，数据文档对于在不雅察数据的生命周期及社会技能配景来讲很是主要。文档可以上传到不变且集中的数据存储库（例如 Zenodo）中。
2完美数据：筛选、洗濯、标注、加强初始数据集网络完成后，咱们就需要进一步完美数据，为 AI 的开发提供更有用的数据。这是 AI 以模子为中央的要领与以数据为中央的要领的要害差别的地方，如图 2a ，以模子为中央的研究凡是是基在给定的数据，专注在改良模子架构或者优化此数据。而以数据为中央的研究则偏重在可扩大的要领，经由过程数据洗濯、筛选、标注、加强等历程来体系地改良数据，而且可使用一站式的模子开发平台。
图2a：AI 以模子为中央与以数据为中央的要领比力。MNIST、COCO 及 ImageNet 是 AI 研究中经常使用的数据集。
数据筛选假如数据集的噪声很年夜，咱们就患上细心对于数据举行筛选以后再做练习，如许可以显著提高模子的靠得住性及泛化性。图 2a 中的飞机图象就是鸟类数据集中应删除了的噪声数据点。
于 图 2b 中，因为练习数据的误差，于之前利用的年夜型皮肤病学数据上练习的四种开始进的模子都体现欠安，于深色皮肤图象上的诊断效果特别欠好，而于较小的高质量数据上练习的模子 1 于深浅肤色上都相对于更靠得住一些。
图 2b：淡色皮肤及深色皮肤图象上的皮肤病诊断测试机能。
图 2c 显示，ResNet、DenseNet 及 VGG 这三种用在图象分类的风行深度进修架构，假如是于噪声年夜的图象数据集长进行练习，其机能都欠佳。而颠末数据Shapley 值过滤后，质量较差的数据被删除了，此时于更洁净的数据子集上练习的ResNet模子机能显著更优。
图 2c：数据过滤先后差别模子的对于象辨认测试机能比力。括号中的数字暗示过滤失噪声数据后剩下的练习数据点的数目，成果汇总于五个随机种子上，暗影区域代表 95% 置信区间。
这就是数据评估的意义地点，它旨于量化差别数据的主要水平，并过滤失可能因为质量差或者误差而侵害模子机能的数据。
数据洗濯于本文中，作者先容了两种数据评估要领来帮忙洗濯数据：
一种要领是丈量于练习历程中删除了差别数据时 AI 模子体现的变化，这可以采用数据的 Shapley 值或者影响类似值来得到，以下图 3a。这类要领可以或许有用计较年夜型 AI 模子的评估。
图3a：数据评估。当于练习中删除了特定点（图中被划失的退色五角星）时，数据的 Shapley 值丈量于差别数据子集上练习的模子的机能变化，从而来量化每一个数据点（五角星符号）的值。颜色暗示种别标签。另外一种要领则是猜测不确定性来检测质量差的数据点。数据点的人类解释可能会体系地偏离 AI 模子猜测，置信进修算法可以检测出这些误差，于 ImageNet 等常见基准测试中发明跨越 3% 的测试数据被过错标注。过滤失这些过错可以年夜年夜晋升模子的机能。
数据标注数据标注也是数据误差的一个重要来历。只管 AI 模子可以容忍必然水平的随机标签噪声，但有误差的过错会孕育发生有误差的模子。今朝，咱们重要依靠在人工标注，成本很昂贵，好比标注单个 LIDAR 扫描的成本可能跨越 30 美元，由于它是三维数据，标注者需要绘制出三维界限框，比一般的标注使命要求更高。
是以作者认为，咱们需要细心校准 MTurk 等众包平台上的标注东西，提供一致的标注法则。于医疗环范畴，还有要思量到标注职员可能需要专业常识或者者可能有没有法众包的敏感数据。
降低解释成本的一种要领是数据编程。于数据编程中，AI 开发职员再也不需要手动标志数据点，而是编写步伐标签函数来主动标注练习集。如图 3b，利用用户界说的标签函数为每一个输入主动天生多个可能有噪声的标签后，咱们可以设计分外的算法，来聚合多个标签功效以削减噪声。
图 3b：数据编程。
另外一种降低标注成本的「人于回路」（human-in-the-loop）要领是优先思量最有价值的数据，以便咱们经由过程自动进修（active learning）来举行标注。自动进修从最好试验设计中罗致思惟，于自动进修中，算法从一组未标注的数据点中选择信息量最年夜的点，好比具备高信息增益的点或者模子于其上具备不确定性的点吗，然后再举行人工标注。这类要领的利益是，所需的数据数目比尺度的监视进修所需的数据量要少患上多。
数据加强末了，当现有数据仍十分有限时，数据加强就是一种扩凑数据集及提高模子靠得住性的有用要领。
计较机视觉数据可以经由过程图象扭转、翻转及其他数字转换来加强，文本数据可以经由过程变换主动书写气势派头来加强。还有有近来的 Mixup，是一种更繁杂的加强技能，它经由过程对于练习样本对于举行插值来创立新的练习数据，如图 3c。
除了了人工数据加强以外，今朝的 AI 的主动化数据加强流程也是一种风行方案。此外，当未标注的数据可历时，还有可以经由过程利用初始模子举行猜测（这些猜测称为伪标签）来实现标签加强，然后于具备真实及高置信度伪标签的组合数据上练习一个更年夜的模子。
图 3c：Mixup 经由过程创立对于现有数据举行插值的合成数据来扩凑数据集。蓝点暗示练习集中的现有数据点，红点暗示经由过程插值两个现有数据点创立的合成数据点。3用在评估及监控 AI 模子的数据于模子颠末练习后，AI 评估的方针是模子的通用性及可托性。
为了实现这一方针，咱们应该细心设计评估数据，从而去找到模子的实际世界设置（real-world settings），同时评估数据也需要与模子的练习数占有充足年夜的差异。
举个例子，于医学研究中，AI 模子凡是是基在少数病院的数据练习的。如许的模子于新的病院部署时，因为数据网络及处置惩罚方面的差异，其正确性就会降低。为了评价模子的泛化性，就需要从差别的病院、差别的数据处置惩罚管道网络评价数据。于其他运用步伐中，评估数据应该从差别的来历网络，最佳由差别的解释器标志为练习数据。同时，高质量的人类标签仍旧是最主要的评价。
AI 评估的一个主要作用是，判定 AI 模子是否于不克不及很好形成观点的练习数据中将虚伪相干性作为「捷径」。例如，于医学成像中，数据的处置惩罚方式（例如裁剪或者图象压缩）可能孕育发生模子拾取的虚伪相干性（即捷径）。这些捷径外貌上可能颇有帮忙，但当模子部署于稍有差别的情况中时，就可能会呈现灾害性的掉败。
体系的数据溶解是查抄潜于的模子「捷径」的好要领。于数据溶解（data ablation）中，AI 模子于虚伪相干外貌旌旗灯号的溶解输入长进行练习及测试。
利用数据溶解探测出模子捷径的一个例子是，一项关在常见天然语言推理数据集的研究发明，仅对于文本输入的前一半举行练习的人工智能模子于揣度文本的前一半及后一半之间的逻辑瓜葛方面取患了很高的正确性，而人类于不异的输入上的揣度程度及随机预测差未几。这就注解人工智能模子使用虚伪相干性作为完成这项使命的捷径。研究团队发明，特定的语言征象会被人工智能模子使用，如文本中的否认与标签高度相干。
数据溶解被广泛合用在各个范畴。例如，于医学范畴，可以屏蔽图象中与生物相干的部门，用这类方式来评估人工智能是从虚伪配景中进修，还有是从图象质量的人工成品中进修。
AI 评估凡是局限在比力整个测试数据集的整体机能指标。但纵然 AI 模子于整体数据层面事情优良，它仍旧可能于特定的数据子组上显示出体系性过错，而对于这些过错集群的特性描写可让咱们越发相识模子的局限性。
当元数据可历时，细粒度的评估要领应该尽可能地按数据集中介入者的性别、性别、种族及地舆位置对于评估数据举行切片——例如，“亚洲老年男性”或者“美领土著女性”——并量化模子于每一个数据子组上的体现。多精度审计（Multi-accuracy auditing）是一种主动搜刮 AI 模子体现欠安的数据子组的算法。于此处，审计较法被练习来利用元数据猜测及聚类原始模子的过错，然后提供 AI 模子犯了甚么错，为何会犯错等问题的可注释谜底。
当元数据不成历时，Domino 等要领会主动辨认评估模子轻易堕落的数据集群，并利用文本天生来创立这些模子过错的天然语言注释。
4数据的将来今朝年夜大都 AI 研究项目只开发一次数据集，但实际世界的 AI 用户凡是需要不停更新数据集及模子。连续的数据开发将带来如下挑战：
起首，数据及 AI 使命均可以跟着时间的推移而变化：例如，可能门路上呈现了一种新的车辆模子（即范畴转移），或者者可能 AI 开发职员想要辨认一种新的对于象种别（例如，差别在平凡公交车的校车类型），这就会转变标签的分类。而将扔失数百万小时的旧标签数据十分华侈，以是更新势于必行。此外，培训及评估指标应该颠末精心设计后用来衡量新数据，并为每一个子使命利用适量的数据。
其次，为了连续获取及利用数据，用户将需要主动化年夜部门以数据为中央的 AI 历程。这类主动化包括利用算法来选择将哪些数据发送给标注器，以和怎样利用它来从头练习模子，而且只于历程呈现过错时（例如，正确度指标降落时）才向模子开发职员发出警报。作为“MLOps（Machine Learning Operations，呆板进修操作）”趋向的一部门，业界公司最先利用东西来实现呆板进修生命周期的主动化。
更多内容，点击下方存眷：扫码添加 AI 科技评论 微旌旗灯号，投稿 进群：
雷峰网(公家号：雷峰网)
雷峰网版权文章，未经授权禁止转载。详情见转载须知。
-米兰·(milan)中国官方网站
