提高数据标注透明度
2023年08月16日 14:31 来源:《中国社会科学报》2023年8月16日第2714期 作者:刘雨微

  本报综合外媒报道 人工智能系统的不断进步离不开大量经人工标注的训练数据和模型。然而,美国宾夕法尼亚州立大学教授S. 希亚姆·桑达尔(S. Shyam Sundar)等人发现,大多数用户并不了解数据的标注流程,对其准确性持怀疑态度。因此,人工智能开发者向用户展示数据的标注流程,将有效提高大众对算法的信任度。提高数据标注的透明度还能帮助科研人员更好地衡量标签的可信度、人工智能性能和用户信任这三者间的联系。

  桑达尔表示,当人们谈论人工智能的可信度时,他们谈论的是人工智能的性能以及它反映现实、展现真相的能力。只有开发者用标注正确的、品质良好的数据反复训练人工智能算法,它才有机会获得大众的信任。事实上,社会对人工智能可信度的担忧,更多是对训练人工智能算法所用数据的担忧。

  向非专业人士阐明训练数据的质量评判标准并不是一件容易的事。桑达尔等人认为,提高数据标注过程的透明度、披露数据标注的准确性,将帮助公众建立客观的人工智能可信度评价体系。

  为了证明该假设,研究人员招募了430名实验参与者,并让他们与一个人工智能系统在线互动。参与者被告知,该人工智能系统可以分辨社交媒体图像中的面部表情。开发团队收集了近10000张面部图像,分别给每张图片贴上了喜悦、悲伤、愤怒、恐惧、惊讶、厌恶或中性情绪的标签。最后,开发团队将标注好的数据集拿去训练人工智能系统。参与者还被告知,一共有500多人参与了标注工作。此外,该实验的研究人员故意修改了标签,产生了两种不同的标注情况:在一种情况下,标签准确无误地描述了图像中的面部情绪;在另一种情况下,有一半数量的标签与图像显示的面部情绪不相符。

  接下来,实验参与者被随机分配到三个人工智能性能检测小组:人工智能无表现、表现带有偏见、表现无偏见。后两组的参与者观察了人工智能处理任务的全过程。其中,第二组组员看到,人工智能系统以100%的准确率完成了白人图像的情绪分类任务,而黑人图像的情绪辨别准确率是0%。当他们意识到该人工智能系统带有种族偏见时,对其信任程度也明显降低了。但是,桑达尔等人还观察到,第二组组员与该人工智能的情感联系以及在未来继续使用该系统的意愿并没有下降。

  桑达尔等人发明了“训练数据可信度”一词来描述用于训练人工智能模型的数据是否可信、可靠。桑达尔认为,开发团队有责任让用户对人工智能系统的可信性形成自己的判断,而不是说服他们盲目地信任人工智能系统。研究人员还建议开发人员和设计师向用户持续透露标注数据的具体过程,培养用户识别高质量标签的能力,建立对人工智能的监管意识。这就需要开发人员构思出更具创造性的培训数据分享模式,在提升用户参与兴趣的同时减轻用户负担,并避免误导用户。

  (刘雨微/编译)

责任编辑:崔博涵
二维码图标2.jpg
重点推荐
最新文章
图  片
视  频

友情链接: 中国社会科学院官方网站 | 中国社会科学网

网站备案号:京公网安备11010502030146号 工信部:京ICP备11013869号

中国社会科学杂志社版权所有 未经允许不得转载使用

总编辑邮箱:zzszbj@126.com 本网联系方式:010-85886809 地址:北京市朝阳区光华路15号院1号楼11-12层 邮编:100026

Baidu
map