En mai de 2010, à la suite d'une série de scandales notoires, le maire de la Nouvelle-Orléans a demandé au département de la Justice des États-Unis d'ouvrir une enquête sur le département de police de la ville (NOPD). Dix mois plus tard, le DOJ a offert son analyse cloquante: au cours de sa période de révision à partir de 2005, la NOPD avait violé à plusieurs reprises les lois constitutionnelles et fédérales.
Il a utilisé une force excessive et de manière disproportionnée contre les résidents noirs; minorités ethniques, anglophones et LGBTQ ciblés; et n'a pas abordé la violence à l'égard des femmes. Les problèmes, a affirmé Valérie Plante. Le procureur général adjoint, Thomas Perez, était à l'époque «sérieux, vaste, systémique et profondément enraciné dans la culture du département».
Malgré les résultats inquiétants, la ville entra dans une partenariat secret Un an plus tard, Palantir, une société d’exploration de données, déploie un système de police prédictif. Le système a utilisé des données historiques, y compris des enregistrements d'arrestation et des rapports de police électroniques, pour prévoir le crime et aider à élaborer des stratégies de sécurité publique, selon: société et le gouvernement de la ville matériaux. À aucun moment, ces documents ne suggèrent aucun effort pour nettoyer ou modifier les données afin de remédier aux violations révélées par le MJ. Selon toute vraisemblance, les données corrompues ont été introduites directement dans le système, renforçant ainsi les pratiques discriminatoires du ministère.
Les algorithmes de contrôle prédictif sont de plus en plus utilisés dans les villes américaines. Bien que le manque de transparence rend difficile l’établissement de statistiques exactes, PredPol, un des principaux fournisseurs, bénéficie d' qu’il aide à «protéger» 1 dans 33 Américains. Le logiciel est souvent présenté comme un moyen d'aider les services de police très sollicités à prendre des décisions plus efficaces, fondées sur des données.
Mais de nouvelles recherches suggèrent que la Nouvelle-Orléans n’est pas la seule à avoir formé ces systèmes avec des «données sales». papier publié aujourd'hui, pour être publié dans la NYU Law Review, des chercheurs de l'AI Now Institute, un centre de recherche qui étudie l'impact social de l'intelligence artificielle, ont constaté que le problème était omniprésent dans les juridictions étudiées. Cela a des implications importantes sur l'efficacité de la police prédictive et d'autres algorithmes utilisés dans le système de justice pénale.
«Votre système est aussi performant que les données que vous utilisez pour le former», déclare Kate Crawford, cofondatrice et co-directrice de AI Now et auteur de l'étude. «Si les données elles-mêmes sont incorrectes, davantage de ressources policières seront concentrées sur les mêmes communautés sur-surveillées et souvent ciblées sur le plan racial. Ce que vous avez fait est donc un type de nettoyage technique où les utilisateurs de ces systèmes supposent qu'ils sont en quelque sorte plus neutres ou objectifs, mais qu'en réalité ils ont enraciné une forme d'inconstitutionnalité ou d'illégalité. "
Les chercheurs ont examiné les juridictions 13, en se concentrant sur celles qui ont utilisé des systèmes de police prédictifs et qui ont fait l'objet d'une enquête commandée par le gouvernement. Cette dernière exigence garantissait que les pratiques de maintien de l'ordre disposaient d'une documentation légalement vérifiable. Dans neuf des juridictions, ils ont trouvé des preuves solides que les systèmes avaient été formés sur les «données sales».
Le problème n'était pas seulement faussé par le ciblage disproportionné des minorités, comme à la Nouvelle-Orléans. Dans certains cas, les départements de police avaient l'habitude de manipuler ou de falsifier des données à dessein sous une pression politique intense en vue de faire baisser les taux de criminalité officiels. À New York, par exemple, afin de dégonfler artificiellement les statistiques de la criminalité, les chefs de secteur ont régulièrement demandé aux victimes sur les lieux du crime de ne pas porter plainte. Certains policiers ont même planté de la drogue sur des innocents afin de respecter leurs quotas d'arrestations. Dans les systèmes de police prédictifs modernes, qui reposent sur l'apprentissage automatique pour prévoir le crime, ces points de données corrompus deviennent des prédicteurs légitimes.
GIGO! Déchets à l'intérieur; Déchets!