米兰·(milan)中国官方网站-​数据集拥有自己的世界观？不，其实还是人的世界观

编纂 | 陈彩娴

陪同深度进修的不停一样平常化，数据集中的成见（bias）及公道性（fairness）已经经成为一个热点研究标的目的。

成见于AI范畴是一个很棘手的话题：有些成见是有利的，例如噪声数据可以增长模子的鲁棒性，有些成见是有害的，例如偏向对于有色人种辨认过错。

并且，当咱们获得一个不完善的模子的时辰，此中的数据集到底存于甚么成见？这些成见是怎样孕育发生的？

google的PAIR （People + AI Research）团队近来发表了一篇博文，用一个很简朴有趣的例子会商了这些问题。

原文链接：https://pair.with谷歌. com/explorables/dataset-worldviews/

假定咱们拥有以下所示的差别外形的数据集，它们对于应的标签是有没有暗影，以下图。

使用页面上的交互式分类器，可以分类出以下的成果，并患上出响应的正确性。

模子其实不完善，为了对于成果举行改正，你可能想知道模子正于犯甚么过错，或者者，数据存于哪一种类型的成见？

因为各个图形的重要区分于在外形，一个可能的成见存于在外形的不同。经由过程不雅察你可能认为三个最重要的外形重要是圆、三角形及矩形。为了证明这个假定，你要确信你的模子于面临圆、三角形及矩形的时辰模子的体现能力的同样的。接下来咱们来做公道性阐发（fairness analysis）。

起首咱们需要对于每一个的外形举行标注，可是一个问题是，有些外形其实不能很必定地确定是甚么外形，这时候候有两种计谋，一是把这类外形判定为最有多是圆、三角形及矩形（with their best guess)；一种是给出一个选项：上述三种外形都不是(as other )。以后咱们阐发模子对于在每一一类外形的分类正确率。该交互式页面给了两种计谋的成果：

计谋一：寻觅最有可能的外形：

第一种计谋注解分类器对于在矩形分类的成果最佳，圆次之，三角形最差。不外这可以注解模子对于三角形存于成见吗？咱们于页面上切换第二种计谋。

计谋二：上述都不是：

成果发生了变化！第二种计谋则注解分类器对于在三角形及矩形分类成果都最佳，圆却最差。咱们对于在成见的理解由于咱们制订分类的计谋差别而差别，换言之，每一一种分类方式代表着采纳差别的角度对待哪些是主要的分类特性。而决议数据集及终极模子决议计划的是你——制订计谋的人。也就是每一个数据集都代表一种“世界不雅”，其网络暗地里莫不代表着人的意志。

以是，再回过甚来想一想，还有有哪些计谋或者者法则的指定可能会影响咱们的对于在公道性的判定？

对于，咱们当初对于在分类的尺度是依照外形，好比圆、三角形或者者矩形，这也是咱们报酬定的尺度，假如换成”尖的“或者者”圆的“呢？或者者“小的”或者者“年夜的”呢？下图给出了差别评价尺度下，准确及过错分类的个别：

图注：当种别尺度是“尖的”或者者“圆的”，以和其它恍惚种别是“寻觅最有可能的外形”的时辰的分类成果

图注：当种别尺度是“小”或者者“年夜的”，以和其它恍惚种别是“寻觅最有可能的外形”的时辰的分类成果

可以看到，每一被选择一种尺度的时辰，所获得的过错分类的数据漫衍也都差别，于是每一种环境下对于在实例的成见水平或者者公道性阐发也城市呈现误差——成见好像也有了成见。

回首一下，假定你是网络该数据集的卖力成员，刚最先你做出关在与成见相干的分类种别的决议计划，所有的外形实例到底怎么分？你根据“尖的”及“圆的”，也就是下图：

其它标注者试图回覆下述问题：这个图形是“尖的”还有是“圆的”？

以后，网络终了，你按照上述过错种别阐发，你可以获得分类器于尖的外形体现的好，圆的则体现的差，以后便有了以下的陈诉：

然后，假如一最先的评价尺度是“年夜的”还有是“小的”，反复上述步调，你却可以获得分类器于小的外形上分类效果好，在是便有了如许的故事...

想要防止这个问题的一个天然的解决方式是，网络更多的数据及更多的特性：假如咱们有充足多的数据，知道它们充足多的细节，咱们将可以免做出差别的分类决议计划，从而孕育发生独一的成见的影响因子。

不外，好像并不是如许。想象一下，当咱们描写咱们周围的一件工作的时辰，不论是向一个伴侣讲述一件工作的时辰，还有是奉告计较机关在外形的工作的时辰，咱们城市自发不自发地选择本身认为的最主要的部门，或者者选择用甚么东西去通报它。

无论咱们是否这么想，咱们无时无刻不于做分类——

正如咱们于外形的例子中所看到的那样，所有的选择都使患上某些特性比其它的特性越发主要，使患上一些特性的不同是可见的一些却可被纰漏，都使患上某些事物变患上轻易分类有些成为噪声点。

是分类的尺度于讲述整个故事。

假如咱们再回首真正的呆板进修运用，好比监视进修使命中的方针检测使命。咱们想象有下面一幅图片：

咱们想于如许的数据集上打标注，于是咱们想先对于此中的方针物体举行标注。此中的一种标注以下：

如许已经经看起来很客不雅了，对于吗？究竟山就是山、树就是树。但是纵然如许，统一张图的统一个区域的标签也可能纷歧样，好比如许：

山可以详细假名称，树也能够详细化“没有医用的植物”。

是的，并无一个遍及的要领去看待每个物体、每个单词或者者每一一张图片。数据集老是特按时间空间及前提的成果。它们是社会的产品，它们有汗青不雅，它们有政治色采。而纰漏这些会带来很是实际的后果。

那咱们应该怎么看待这些信息呢？

一个很好的出发点是反思数据地点的上下文，而且始终对于数据连结好奇。

很难去判定一个数据集自己的价值——它们是客不雅的，遍及的，中立的吗——它可能只是反应一种你本身习气的世界不雅。以是理解你本身的世界不雅可以告诉你所谓客不雅数据的局限性。时刻问本身：你对于这个世界做出了甚么假定？甚么是觉得像是知识？甚么有些违反常理？主要的是，对于在数据集不该该健忘思量：谁网络的它？为何会网络它？谁付钱网络了它？所谓的”真值“标签来自哪里？

以后，你甚至可能会发明本身于质疑网络数据历程中的某些假定，从而对于你的分类使命有越发总体地舆解。

假如对于你的数占有许多问题，你就已经经有很好的初步了。

People + AI Research (PAIR) 是 Google 的一个跨学科团队，经由过程基础研究、构建东西、创立设计框架以和与差别社区互助来摸索人工智能的人道方面。

团队的宗旨让呆板进修阐扬其踊跃潜力，由于它需要具备广泛的介入性，触及到它影响的社区，并由差别的公平易近、政策制订者、勾当家、艺术家等群体引导。

该团队开发了许多有趣的可视化交互页面，切磋了许多有趣的AI+公道性或者者可注释性的课题。快去尝尝吧！

团队官网：https://pair.with谷歌.com/

原文链接：https://pair.with谷歌.com/explorables/dataset-worldviews/

雷峰网(公家号：雷峰网)

雷峰网版权文章，未经授权禁止转载。详情见转载须知。