我们可以教算法来弥补自己的偏见吗?

近年来,雇主们尝试了各种技术修复算法对抗偏见——的趋势招聘和招聘算法筛选求职者的种族或性别。

他们可能想尝试一种新方法,根据一项新的研究玛丽亚De-Arteaga德克萨斯州麦康姆助理教授的信息,风险和运营管理。即使算法调整的明显的歧视,他们可能显示一种更微妙的:倾向于镜子的人占主导地位的集团。

例如,当招聘的领域有更多的男人,算法可以支持更像男性的刻板印象的人。研究人员称这种趋势“社会规范的偏见。”

这样的偏见化合物现有模式在工作场所,De-Arteaga说。“社会科学家研究了歧视的边缘人处罚显示特征,被认为是典型的群体。我们表明,算法也有这种偏见。”

斯坦福大学的玛拉程和亚当Tauman伊布和莱斯特·麦基的微软研究院De-Arteaga测试三种常见的技术使得算法更加公平。他们发现了两种迥然不同的效果,一种方法不减少社会规范的偏见。

帮助弥补这些不足,研究人员还提出了一种新的技术:直接测量社会规范公式偏见的一种算法,所以它可以更有效地校正。

预测职业

这种偏见的根源通常使用的数据集训练算法,根据先前的研究。数据反映现有员工。例如,外科医生往往是白人。

补偿,雇主通常使用三种类型的干预措施:

●预处理,这给数据之前使用。

●后处理,调整结果后对某些群体算法训练。

●处理,修改算法的训练。

测试这些方法如何工作,De-Arteaga和她的同事们使用一个数据集有397340传记,跨越28的职业。因为第三人的传记,每个传记有“她”或“他”与之关联的代名词。一个额外的数据集使用的传记二进制代词。

研究人员应用三种不同类型的干预措施。核心问题:将调整结果显示社会规范的偏见在使用别人的传记来预测他们的职业?

不幸的是,偏见依然存在。以男性为主导的职业,与男性相关的算法寻找语言。如果它没有找到这样的语言,这是不准确的猜测一个人的职业。

例如,“授权”这个词与女性相关的算法。女性外科医生使用这个词不太可能确定为外科医生。

“当社会规范有偏差,少数的人受益于一个干预将那些最符合多数人的社会规范,“De-Arteaga说。

最有效的解决,她发现,在后处理。它没有影响社会规范偏见的纠正。

“这些类型的干预措施和更便宜更容易集成到一个系统,因为他们不需要再培训模型,“De-Arteaga说。“但是他们不减轻社会规范偏见。”

公平的算法

研究结果产生广泛影响偏差校正算法,De-Arteaga说。使用目前的技术,公司可能会认为他们已经解决了性别歧视。

但是因为这些技术是基于刚性与一组相关的特点,他们不显示整个画面。他们会惩罚那些不符合大多数人的刻板印象。

来弥补这些问题,De-Arteaga和她的同事们提出一个公式直接测量算法的社会规范程度的偏见。数据科学或机器学习部门可以使用公式来指导算法选择,她说。工具箱”公司可以添加这些措施。”

研究适用于地区就业市场之外,她补充道。社会规范的偏见可能存在于其他算法,如参与社会保障金,卫生保健,或者决定谁可以得到贷款。

“这自然延伸到任务以外的职业分类,“De-Arteaga说。“需要做更多的工作去理解这种偏见在其他领域的程度和评估其后果。”

参考:程,De-Arteaga M,麦基L,伊布。社会规范偏见:残留危害fairness-aware算法。数据的最小知识盘。2023年。doi:10.1007 / s10618 - 022 - 00910 - 8

本文从以下转载材料。注:材料可能是长度和内容的编辑。为进一步的信息,请联系引用源。