破碎的工具:文森特·南兰德(文森特Southerland)阐明了刑事法律系统使用算法工具时的偏见问题

电脑屏幕上的人物示意图

临床法助理教授 文森特Southerland 他回忆说,在他的法律职业生涯早期,他是布朗克斯捍卫者的一名律师, 他经常处理风险评估工具——法院使用的基于算法的工具,以帮助确定他的客户是否应该在审判前获释. 当评价是有利的时候, 索瑟兰利用这些照片为他的客户辩护, 当他们不在的时候, 他会提出评估计算的潜在问题. 法庭上的其他因素都在起作用, 他说, 他没有深入思考风险评估工具所发挥的更广泛的作用.

文森特Southerland
文森特Southerland

但是南兰德教授 刑事辩护和再入诊所, 后来是否认识到,这些文书的使用本身就对刑事司法产生了“巨大的影响”. 我也意识到,他说, 算法生态系统的触角伸向了犯罪系统的所有其他阶段——从维持治安一直到量刑, 假释, 缓刑, 监督, 再入, 当你被监禁的时候,你是机密的…. 这些工具在整个系统中无处不在, 我觉得他们只是在哼唱,对他们来说没有什么挑战.”

在他的文章中, 《刑事法律体系中种族和算法工具的交集》 去年秋天出版于 马里兰法律评论在《南方土地》一书中,作者认真审视了这些工具,并提出了多种质疑它们的理由. 认为刑事法律体系受到种族主义和不平等的困扰, 他写道,“改变刑事法律体系, 倡导者需要以种族正义为中心,为基于技术的努力提供信息,而不是简单地在当前状态下将工具分层.“虽然算法工具通常被认为有助于消除决策中的偏见, 南兰德断言,他们受到了不可避免的系统性偏见的影响.

本文首先概述了整个刑事法律系统的算法工具, 专注于预测工具. They are used by police to forecast where criminal activity is likely to occur; they are used by courts to determine risk of rearrest and failure to reappear when setting bail, 并作出量刑决定.

南兰德写道,证据让人对这种算法方法的有效性产生了怀疑. 2016年的一项研究, 人权数据分析小组(HRDAG)审查了预测警务软件PredPol背后的算法. 输入奥克兰的犯罪数据, 加州, 预测潜在的毒品犯罪, HRDAG发现,该算法建议以“低收入有色人种社区”为目标, 尽管来自公共卫生数据的同时证据表明,吸毒在城市中更为均匀地分散.HRDAG认为,“当被歧视性数据告知时, 该算法将鼓励类似的歧视性警察行为.” 

Southerland指出,现有的学术研究表明,这些数据不仅仅是警察使用的东西——他们也创造了这些数据, 这意味着过去警察活动中反映的偏见嵌入了算法工具使用的统计数据中. “因此,Southerland写道, “警察的决策在塑造太阳2官方平台登陆-apple app store-太阳2排行榜对犯罪和犯罪行为的看法方面发挥着巨大的作用.他指出,数据还包含其他缺陷. 例如, 逮捕统计数据并不能说明逮捕最终是如何解决的, 包括驳回指控:“从数据中反映和读出的是一个似乎比实际危险得多的社区,他写道.

这种初始扭曲, 他认为, 可以自我延续:在以前的警务模式的基础上,在特定地区加强执法可以导致更多的逮捕, 只要有警察在场就行了, 导致执法部门更大的目标.

用于保释决定的基于算法的审前风险评估, 比如南兰德作为布朗克斯辩护律师时遇到的那些人, 因司法管辖区而异,由各种不同的实体创建. 许多公司使用的是先前定罪和未决指控的数据. 用于计算风险评分的因素及其加权方式并不总是公开的, 大多数工具给出一个单一的分数,包括再次被捕和未能出庭的风险, 尽管这两种风险彼此不同. 

Southerland还批评了应用于量刑决定的算法工具. 的工具, 哪算累犯风险, 通常利用四类风险因素犯罪史, 反社会的态度, 人口统计资料, 以及社会经济地位. 这种“精算风险评估是一种数字分析”, 根据某人的相似度对其进行治疗, 或会员资格, 一组,他指出。. 他引用了最近的一项研究,该研究发现弗吉尼亚州使用非暴力风险评估工具并没有减少监禁, 累犯, or racial disparities; simultaneously, 它对年轻被告不利. 

在刑事法律体系中立即废除算法工具是不太可能的, Southerland承认, 但他看到了一个利用它们来改善体系的机会, 使用种族公正的镜头. 算法数据集可以进行调整,以考虑警务和其他领域的种族差异影响. 应用公共卫生分析, “热点”可以吸引支持和投资,而不是加强监管. Algorithmic tool vendors and users could be required to eliminate the discriminatory impact of their tools; algorithmic impact assessments, 以环境影响评估为模型, could also be required; and algorithmic tools could be used to detect bias in decision-making in those who run the system. 

Southerland强调,问题不在于工具本身, 而是它们的制作和使用方式, 这一点很重要. “这些工具反映了太阳2官方平台登陆-apple app store-太阳2排行榜所生活的世界. 如果太阳2官方平台登陆-apple app store-太阳2排行榜诚实的话, 太阳2官方平台登陆-apple app store-太阳2排行榜从中看到的是一个充斥着种族主义和不公正的刑事法律体系,他写道. “种族公正的视角有助于太阳2官方平台登陆-apple app store-太阳2排行榜理解这一点,并要求太阳2官方平台登陆-apple app store-太阳2排行榜调整自己的反应,以创造太阳2官方平台登陆-apple app store-太阳2排行榜想要居住的那种世界.”

发布于2022年3月14日
2022年8月9日更新

顶部图片来源:Adobe Stock/Skórzewiak