为避免AI大模型的图像偏见,Meta聘请各地人员标注3.2万张人像图

时间:2023-10-05 09:13:53编辑:科技君

计算机视觉系统已经无处不在。它们被用于对社交媒体上的图像进行分类和标记,检测图片和视频中的物体和人脸,并标注出图像中的相关元素。

然而,它们充满了偏见,当图像中包含黑人或棕色人种和女性时,它们就不那么准确了。还有另一个问题,目前研究人员在这些系统中发现偏见的方法本身就是有偏见的,他们将人类分为各种各样的类别,却没有恰当地体现出不同类别的人类之间的复杂性。

索尼和 Meta 的研究人员撰写了两篇新论文,提出了在计算机视觉系统中测量偏见的新方法,以便更充分地捕捉人类丰富的多样性。这两篇论文都将在 2023 年 10 月的计算机视觉会议 ICCV 上发表。

开发人员可以使用这些工具来检查数据集的多样性,帮助为人工智能提供更好、更多样化的训练数据。这些工具还可以用来衡量生成式人工智能生成的人类图像的多样性。

一般来说,计算机视觉系统中的肤色偏见是用菲茨帕特里克量表来测量的,这张表包含了一种人类肤色的分类模式,从浅色到深色。

索尼人工智能伦理研究员 William Thong 表示,该量表最初是为了衡量白皮肤晒黑程度而开发的,但后来被广泛用作确定种族的工具。通过比较人工智能模型对浅色皮肤和深色皮肤的人的准确率,它可以被用来衡量计算机系统的偏见。

但索尼人工智能伦理全球主管 Alice Xiang 表示,用一维尺度描述人的肤色是一种误导。通过基于这种粗略的尺度将人们分类,研究人员忽视了一些偏见,例如亚洲人种,其肤色可以分为浅和深两类,他们在西方人工智能数据集中的代表性不足。

而且它也没有考虑到人的肤色会改变的事实。例如,研究人员指出,随着年龄的增长,亚洲人的皮肤会变得更黑、更黄,而白人的皮肤会变得更黑、更红。

Thong 和 Xiang 的团队与《麻省理工科技评论》独家分享了他们开发的工具,该工具将肤色尺度扩展到两个维度,测量皮肤颜色(从浅色到深色)和皮肤色调(从红色到黄色)。索尼将在网上免费提供这个工具。

Thong 说,他的灵感来自巴西艺术家安吉里拉·达斯(Angélica Dass),他的作品表明,来自相似背景的人可以有各种各样的肤色。但尝试表现出所有肤色并不是一个新奇的想法。化妆品行业多年来一直在使用同样的方法。

“对于任何挑选过粉底色的人来说,重要的不仅仅是一个人的肤色是浅色还是深色,还包括暖色调还是冷色调,”Xiang 说。

美国莱斯大学研究计算机视觉模型偏见的助理教授古哈?巴拉克里希南(Guha Balakrishnan)表示,索尼在肤色方面的工作“让人们了解到了一直被忽视的部分。”

目前,研究人员还没有一种标准的方法来衡量计算机视觉中的偏见,这使得多个系统之间的比较变得更加困难。

为了使偏见评估更加简化,Meta 开发了一种新的方法来衡量计算机视觉模型中的公平性,被称为计算机视觉评估公平性(FACET,Fairness in Computer Vision Evaluation),可用于一系列常见任务,比如分类、检测和分割。

Meta 的人工智能研究员劳拉·古斯塔夫森(Laura Gustafson)表示,FACET 是第一个包含许多不同计算机视觉任务的公平性评估,它比其他偏见评估工具包含了更广泛的公平性指标。

为了创建 FACET, Meta 将 3.2 万张人类图像的免费数据集收集在一起,并聘请了来自世界各地的注释者来标记它们。注释者被要求用 13 种不同的视觉属性来标记这些图像,比如他们的感知年龄、肤色、性别代表、头发颜色和质地等等。

Meta 还要求注释者根据人们正在做的事情或他们的职业给他们贴上标签,比如理发师、滑板运动员、学生、音乐家或体操运动员。研究人员说,这增加了偏见评估的细微差别和准确性。

然后 Meta 使用 FACET 来评估最先进的视觉模型在不同人群中的表现,调查结果显示了巨大的差异。例如,模型更善于识别肤色较浅的人,即使他们有脏辫或卷曲的头发。

美国普林斯顿大学研究计算机视觉模型偏见的博士研究员安吉丽娜·王(Angelina Wang)说,因为世界各地的人们在评估他人的图像时都带有自己的偏见,Meta 招募不同国家的注释者的努力是积极的。

Meta 在网上免费提供数据的事实也将帮助研究人员。注释数据非常昂贵,所以只有大型科技公司才能大规模使用。“这是一个很受欢迎的补充数据,”巴拉克里希南说。

但是王警告说,一种明智的做法是,现实地看待这些系统可能产生的影响。它们可能只会导致人工智能领域的小改进,而不是大规模转型。

她说:“我认为,我们离真正掌握让人类能够代表自己的东西还很遥远,而且可能永远也做不到这一点。”

作者简介:梅丽莎·海基莱(Melissa Heikkil?)是《麻省理工科技评论》的资深记者,她着重报道人工智能及其如何改变我们的社会。此前,她曾在 POLITICO 撰写有关人工智能政策和政治的文章。她还曾在《经济学人》工作,并曾担任新闻主播。

支持:Ren

上一篇:GPU过剩了吗?红杉:AI赚不到2000亿,A16Z“逐字反驳”:AI是要

下一篇:孟晚舟宣布全面智能化,任正非强调算力为王!华为吹响人工智能号