La technologie de reconnaissance faciale d'Amazon `` surcharge '' la police locale

Lorsque les employés d'un Ace Hardware ici ont rapporté qu'une femme était sortie du magasin avec un réservoir de 11.99 $ de gaz de soudage qu'elle n'avait pas payé dans son sac fourre-tout, une opération sophistiquée de lutte contre le crime de haute technologie est entrée en action.

Un détective du shérif du comté de Washington, travaillant avec l'Unité des enquêtes spéciales de l'agence, a diffusé les images de surveillance du magasin via un programme interne de reconnaissance faciale conçu par Amazon, révélant une éventuelle correspondance.

La plaque d'immatriculation de cette femme a été signalée et, trois mois plus tard, un agent des stupéfiants dans un SUV banalisé l'a vue et a appelé d'autres agents de patrouille par radio pour l'arrêter. Un député a tapé une paire de menottes autour de ses poignets et le rapport d'arrestation indique. Elle a dit qu'elle avait besoin d'essence pour réparer sa voiture.

Les députés de ce coin de l'ouest de l'Oregon, à la périphérie ultralibérale de Portland, traquaient les criminels à l'ancienne, envoyant par télécopie des images prises à la caméra d'un suspect dans le bureau, dans l'espoir que quelqu'un puisse reconnaître le visage.

Puis, à la fin de 2017, le bureau du shérif du comté de Washington est devenu le premier organisme d'application de la loi du pays à utiliser l'outil d'intelligence artificielle d'Amazon Rekognition, transformant ce fourré de forêts et de banlieues en un terrain d'essai public pour une nouvelle vague de surveillance policière expérimentale. techniques.

Presque du jour au lendemain, les députés ont vu leurs pouvoirs d'enquête suralimentés, ce qui leur a permis de rechercher des correspondances du visage d'un suspect sur plus de 300,000 2001 clichés pris à la prison du comté depuis 1,000. Une image granuleuse du visage de quelqu'un - capturée par une caméra de sécurité, un média social compte ou le smartphone d'un député - peut rapidement devenir un lien vers son identité, y compris son nom, sa famille et son adresse. Plus de XNUMX recherches de reconnaissance faciale ont été enregistrées l'année dernière, ont déclaré des députés, qui utilisaient parfois les résultats pour trouver la page Facebook d'un suspect ou visiter leur domicile.

Mais le comté de Washington est également devenu le point de départ d'une bataille à enjeux élevés sur la croissance non réglementée de la police par algorithme. Les avocats de la défense, les chercheurs en intelligence artificielle et les experts des droits civiques affirment que la technologie pourrait conduire à l'arrestation injustifiée de personnes innocentes qui ne ressemblent qu'à une image vidéo. L'exactitude de la reconnaissance est également vivement contestée, et certains experts craignent qu'un cas d'identité erronée par des députés armés puisse avoir des implications dangereuses, menaçant la vie privée et la vie des gens.

Ces dernières années, certains services de police ont procédé à des recherches de reconnaissance faciale dans des bases de données d’État ou du FBI à l’aide de systèmes conçus par des sous-traitants tels que Cognitec, IDEMIA et NEC. Mais le déploiement par Amazon a peut-être été la plus grande étape dans l’intégration de la technologie controversée de scanographie faciale. La reconnaissance est facile à activer, ne nécessite aucune infrastructure technique majeure et est proposée à quasiment tout le monde à des prix défiant toute concurrence. Le comté de Washington a dépensé environ 700 pour mettre en ligne son premier grand lot de photos et, maintenant, pour toutes ses recherches, il rapporte environ 7 par mois.

Cependant, il est impossible de dire à quel point la technologie a été précise ou efficace au cours de ses 18 premiers mois de tests dans le monde réel. Les députés n'ont pas à noter dans les rapports d'arrestation lorsqu'une recherche par reconnaissance faciale a été utilisée, et le nombre exact de fois où elle a abouti à une arrestation n'est pas clair. Les responsables du shérif ont déclaré que le logiciel avait conduit à des dizaines d'arrestations pour vol, violence ou autres crimes, mais une demande de dossiers publics a révélé neuf rapports de cas dans lesquels la reconnaissance faciale était mentionnée.

«Comme toutes nos techniques d'enquête, nous ne disons pas aux gens comment nous les attrapons», a déclaré Robert Rookhuyzen, un détective de l'équipe chargée des crimes majeurs de l'agence, qui a déclaré avoir effectué «plusieurs dizaines» de recherches et trouvé cela utile à environ 75%. du temps. «Nous voulons qu'ils continuent à deviner.»

Les responsables du shérif disent que les scans de visage ne marquent pas toujours la fin de l'enquête: les députés doivent toujours établir la cause probable ou trouver des preuves avant d'accuser un suspect d'un crime. Mais le bureau du shérif définit ses propres règles pour l'utilisation de la reconnaissance faciale et permet aux députés d'utiliser l'outil pour identifier les corps, les suspects inconscients et les personnes qui ont refusé de donner leur nom.

Les résultats imparfaits de l'outil de recherche augmentent le risque qu'une personne innocente soit signalée et arrêtée, en particulier dans les cas où les images numérisées sont floues, de mauvaise qualité ou partiellement dissimulées. Les députés sont également autorisés à exécuter des croquis d'artistes lors de la recherche, une utilisation inhabituelle qui, selon les experts en IA, pourrait plus souvent conduire à une fausse correspondance.

Les directives d'Amazon pour les forces de l'ordre indiquent que les responsables ne devraient utiliser les résultats de Rekognition que lorsque le système est confiant à 99% dans un match. Mais les députés ici ne voient pas cette mesure de la confiance de recherche lorsqu'ils utilisent l'outil. Au lieu de cela, ils reçoivent cinq correspondances possibles pour chaque recherche, même si la certitude du système dans une correspondance est beaucoup plus faible.

Après avoir répondu aux questions du Washington Post, Amazon a ajouté un libellé à ces directives, déclarant que les agents devraient examiner manuellement toutes les correspondances avant de détenir un suspect et que la recherche «ne devrait pas être utilisée comme seul déterminant pour agir».

La relation entre Amazon et le troisième plus grand organisme d'application de la loi de l'Oregon est mutuellement bénéfique: le bureau du shérif aide à affiner le système, qu'Amazon espère vendre à travers le pays. Mais la poussée d'Amazon dans les ventes des forces de l'ordre a alarmé certains avocats qui disent que le système pose trop de risques pour les libertés civiles. (Le fondateur et PDG d'Amazon, Jeff Bezos, est propriétaire de The Post.)

«Le gouvernement est incroyablement puissant et il apporte beaucoup à un citoyen individuel dans une affaire», a déclaré Mary Bruington, la directrice du bureau du défenseur public du comté de Washington, qui représente les accusés qui n'ont pas les moyens de se payer un avocat. «Vous associez ça à Amazon? C'est un partenariat puissant. »

Matt Wood, directeur général de l'intelligence artificielle pour la division de cloud computing de l'entreprise, Amazon Web Services, a déclaré dans un communiqué que Rekognition n'était qu'une «autre contribution parmi de nombreuses autres pistes pour une enquête à 100% humaine».

Pourtant, la société fait face à des critiques sur de nombreux fronts: les meilleurs chercheurs en IA, les membres du Congrès et les groupes de défense des droits civiques - ainsi que certains des propres investisseurs et employés d'Amazon - ont exhorté l'entreprise à cesser de fournir la technologie aux forces de l'ordre, soulignant des études qui ont constaté que le système est moins précis avec les visages à la peau foncée. Amazon a contesté cette recherche.

Certains rivaux d'Amazon ont rejeté des contrats similaires. Le président de Microsoft, Brad Smith, a déclaré en avril que la société avait récemment refusé de fournir son logiciel de reconnaissance faciale à un organisme d'application de la loi californien qui souhaitait effectuer un scan du visage chaque fois que ses agents arrêtaient quelqu'un, mais qu'elle avait approuvé un accord mettant la technologie. dans une prison américaine. Microsoft a refusé de fournir des détails.

Les investisseurs d'Amazon voteront en mai sur une proposition, soutenue par un groupe d'actionnaires activistes, qui empêcherait l'entreprise de vendre Rekognition à des agences gouvernementales à moins que le conseil d'administration de l'entreprise ne détermine qu'elle ne présente pas de risque pour les droits humains.

Le bureau du shérif a permis aux journalistes de la poste de passer deux jours en mars dans ses voitures d'escouade, ses bureaux de détective et la prison du comté, observant comment les députés ont intégré la technologie dans leur charge de travail quotidienne. La plupart des personnes interrogées ont déclaré que le logiciel leur avait fait gagner du temps, augmenté le nombre d'arrestations et les avait aidées à traiter la surabondance croissante de preuves visuelles. À ce jour, aucune contestation judiciaire n'a été intentée contre une arrestation au motif que le match photo était erroné, ont déclaré les députés et les défenseurs publics.

Les avocats de l'Oregon ont toutefois déclaré que la technologie ne devrait pas être, comme beaucoup le voient, un pas en avant imminent pour l'avenir du maintien de l'ordre, et ils décrivent le système non pas comme un jalon technique, mais comme un impératif moral. plus de bons gars pourraient être arrêtés, aussi?

«Les gens aiment toujours dire:" Hé, si ça attrape de mauvaises personnes, super, peu importe ", a déclaré Joshua Crowther, un vice-défenseur en chef de l'Oregon," jusqu'à ce qu'ils soient de l'autre côté. "

'Indiscernable de la magie'

Lorsqu'Amazon a révélé Rekognition en 2016, la société l'a qualifié de percée pour un style puissant d'intelligence artificielle d'apprentissage en profondeur qui a montré des résultats «indiscernables de la magie». Dans un article de blog illustré d'une photo du chien d'un cadre, la société a proposé des idées générales sur la façon dont les gens pourraient commencer à l'utiliser, y compris pour les points de contrôle de sécurité ou les panneaux d'affichage câblés pour collecter des données sur le visage d'un spectateur.

Le dévoilement a attiré l'attention de Chris Adzima, un ancien programmeur eBay qui avait été embauché au bureau du shérif du comté de Washington pour travailler sur une application iPhone que les députés utilisent pour suivre le comportement des détenus. Son agence avait déjà des centaines de milliers de photos faciales en ligne et aucun moyen réel de les analyser. En utilisant l'IA d'Amazon, il a mis en place un système en moins de trois semaines.

«Ils n'avaient pas vraiment une idée précise de tout type de cas d'utilisation dans le monde réel, mais ils savaient qu'ils avaient un outil puissant qu'ils avaient créé», a déclaré Adzima, analyste principal des systèmes d'information qui travaille dans une petite cabine à le quartier général du shérif. «Alors, vous savez, je viens de commencer à l'utiliser.»

Les députés ont immédiatement commencé à intégrer les fouilles faciales à leurs activités de police quotidiennes, et Adzima a créé un site Web interne simple qui leur permet de rechercher à partir de leurs voitures de patrouille. Il a abandonné les pourcentages de confiance dans la recherche et a conçu le système pour renvoyer cinq résultats à chaque fois: lorsque le système n'a renvoyé aucun résultat, a-t-il dit, les députés se sont demandé s'ils avaient gâché quelque chose. Pour pimenter les choses, il a également ajouté une animation violette inutile de «numérisation» chaque fois qu'un adjoint téléchargeait une photo - une touche qui, selon lui, était inspirée par des émissions de flics comme «CSI».

Lire l'histoire complète ici…