机器人的偏见是如何产生的？
原标题：机器人也会产生偏见，IBM 打算解决它
王毓婵
据TechCrunch消息，IBM推出了一项新的云服务，可以扫描人工智能系统的工作情况，检测系统偏见，并为正在做出的自动决策提供解释。
所谓的“系统偏见”指的是人工智能系统在运算过程中产生的误差——它可能是由原始数据积累地不全面导致的，也可能是由计算设定中的bug导致的，或者是由工程师错误的操作方式导致的。
一个比较典型的例子是，亚马逊的开放式人脸识别系统Rekognition将28个美国国会议员认成了嫌疑犯。
这其中的原因，一是因为测试者使用的默认置信度阈值是80%，而亚马逊建议执法部门应用该程序时应至少设置95%的置信度门槛；二是因为如果人工智能的训练数据本身就是严重偏向白人的，那么机器做出的判断可能也会非常偏向白人。整个国会中只有20%的有色人种，而在机器认定的“嫌疑犯”中，有色人种却占了39%。更早前NIST的面部识别供应商测试也发现，女性和非洲裔美国人被Rekognition误识的概率更高。
类似的例子还有，亚马逊和Google的语音助手在理解非美国口音信息时，准确率会比理解美国口音信息下降30%。
IBM新推出的云服务致力于解决这一问题。它可以检测运行中的AI系统中存在的偏见，在不公平的结果产生时进行“捕获”，也可以自动提出修改建议。
除了消除系统误差，IBM还可以对判断做出解释，比如哪些因素加重了哪个方向的判断，我们应该对判断结果抱有多大的信心，以及是哪些因素决定了我们抱有这个程度的信心。
IBM称，这一系统运行在IBM云上，与IBM的机器学习框架和AI模型兼容，包括其Watson技术，以及Tensorflow、SparkML、AWS Sage Maker和AzureML等。
欧盟的GDPR隐私法案规定，普通用户有权了解人工智能算法在特定情况下如何工作。这意味着许多依赖人工智能系统的科技公司可能需要一套能够审核他们的AI，并为其判断做出解释的工具。
IBM不是第一家发现AI偏见商业机会的专业服务公司。几个月前，埃森哲也公开了一个工具，用于识别和修复不公平的AI。“没有一个算法是完美的。”埃森哲人工智能业务负责人Rumman Chowdhury说，“我们知道模型有时会出错。但对于不同的人存在不同程度的错误是不公平的。”
埃森哲的工具可以检查AI系统中的敏感变量，如年龄、性别、种族等，从而判断其运算结果是否有倾斜倾向。
IBM发言人称，识别和修复AI偏见的工具的出现，会鼓励更多企业有信心使用人工智能系统。根据IBM的研究，虽然有82%的企业正在考虑使用人工智能技术，但有60%担心后续带来的责任问题，有63%的企业担心缺乏人才来管理人工智能技术。
不过提到偏见，IBM自己也正因一款天生带有“偏见”的软件而陷入风波。美国科技媒体The Intercept本月报道称，纽约警方的视频监控系统软件由IBM公司开发，纽约市警察局则提供大量的闭路电视监控数据作为软件训练的数据库，最终让软件可以根据肤色、发色、性别、年龄和各种面部特征去搜索相关人员。
通过皮肤、种族等信息进行嫌疑人筛选的监控系统引起了很大的争议，公民自由倡导者组织表示，他们对纽约警察局帮助建立具有潜在大规模种族貌区别的监控系统的计划感到震惊。
IBM开发的去除偏见工具也许对他们自己的软件也有用。
