除了隐私权的争议外,遗漏似乎比误判更值得担忧
作者:张晨曦
据《卫报》报道,英国有数十万人的大量数据被用来构建计算机模型,以在儿童虐待事件发生之前能够预测和干预。
在不断增加的财务压力下,英国地方政府正在开发“预测分析”系统,以便通过算法找出应介入儿童服务的家庭,此举将使政府能够更有效地集中资源。
地方政府协会(Local Government Association)称,到2020年,根据保守党政府的紧缩计划,地方政府的拨款将减少160亿英镑。
虽然算法分析可能是帮助社会工作者的一种方式,但由于它可能会侵犯个人隐私,因此可能引起巨大争议。
电影《美国田园下的罪恶》剧照(来自豆瓣)
目前,英国至少有五个地方政府已经开发或落实了用于儿童保护的预测分析系统,至少有377000人的数据被纳入不同的预测系统。
哈克尼(Hackney)和瑟罗克(Thurrock)都聘请了一家私营公司Xantura,纽汉区(Newham)和布里斯托(Bristol)则选择在内部自主开发系统。
Xantura的时间序列数据分析花费了三年,建模人员在前两年构建算法并训练模型,并针对第三年的数据进行测试。
《卫报》获得的一份合同显示,在政府拥有的数据中,前期被考虑列入预测模型的是:上课出勤、开除记录、住房维修、拖欠房租、警局记录、反社会行为和家庭暴力。但有些最终被排除,比如拖欠房租和健康数据。
负责管理公共和私人机构使用个人数据的信息专员办公室(ICO)表示,它将询问政府使用预测分析的实际情况,以确保他们遵守数据保护法。
“所有组织都有责任对个人信息负责,涉及儿童的记录尤其敏感,这需要特别强有力的措施。”ICO发言人说。
电影《熔炉》剧照
支持者认为,算法预测系统将能够让政府将有限资源精准投放,以便他们能够在悲剧发生之前采取行动。
但其他人警告称,这些系统不可避免地会包含算法设计师的偏见。在没有任何公众监督的情况下,它在有效运作的同时可能会使陈规观念和歧视持续存在,比如对弱势群体过度采样。
因为政府服务部门不可避免地持有更多贫困家庭的数据,而非富裕家庭。在这种情况下,模型不仅会反映出一种不平等,而且还会扩大他们。拿公立学校和私立学校举例,你不能保证私立学校的孩子就不会遭遇家庭虐待,风险依旧存在。
电影《熔炉》剧照(来自豆瓣)
在哈克尼和瑟罗克,Xantura系统通过运行其预测模型来获取警告信息,比如孩子被学校开除或者有关家庭暴力的报告,然后系统将预测传递给社会工作者。
报告会给出一份摘要,概述每个家庭为何超过风险阈值,以供社会工作者为潜在的进一步行动做准备。
哈克尼政府表示,这个系统已经提供了350次风险警报,而瑟罗克表示其系统产生了300次,两个城市都表示正确率约为80%。
伦敦大学数据学习研究员Michael Veale表示:“当你通过算法来预测事件发生的时候,你很可能得到错误数据。如果你想要确保不会错过任何一个面临风险的儿童,那最好的方法是广撒网。”