Enfreindre les règles? L'IA ne vous montrera aucune pitié

Vous pensez peut-être qu'un ordinateur serait un juge impartial et juste, mais une nouvelle étude révèle qu'il vaut peut-être mieux laisser votre destin entre les mains des humains. Des chercheurs du MIT ont découvert que l'intelligence artificielle (IA) a tendance à porter des jugements plus stricts et plus sévères que les humains lorsqu'il s'agit de personnes qui enfreignent les règles. En termes simples, l'IA n'est pas disposée à laisser les gens s'en tirer facilement lorsqu'ils enfreignent la loi !

Les chercheurs ont exprimé leur inquiétude quant au fait que l'IA pourrait imposer des sanctions trop sévères, en fonction de l'information avec laquelle les scientifiques la programment. Lorsque l'IA est programmée strictement sur la base de règles, dépourvues de toute nuance humaine, elle a tendance à réagir durement par rapport à lorsqu'elle est programmée sur la base de réponses humaines.

Cette étude, menée par une équipe du Massachusetts Institute of Technology, a examiné comment l'IA interpréterait les violations perçues d'un code donné. Ils ont découvert que les données les plus efficaces pour programmer l'IA sont les données normatives, où les humains ont déterminé si une règle spécifique a été violée. Cependant, de nombreux modèles sont programmés par erreur avec des données descriptives, dans lesquelles les gens étiquettent les attributs factuels d'une situation, et l'IA détermine si un code a été violé.

Dans l'étude, l'équipe a rassemblé des images de chiens qui pourraient potentiellement violer une règle d'appartement interdisant les races agressives de l'immeuble. Les groupes ont ensuite été invités à fournir des réponses normatives et descriptives.

L'équipe descriptive n'a pas été informée de la politique globale sur les chiens et a été invitée à identifier si trois éléments factuels, tels que l'agressivité du chien, étaient présents dans l'image ou le texte. Leurs réponses ont aidé à former des jugements. Si un utilisateur a déclaré que la photo représentait un chien agressif, la politique a été considérée comme violée. D'autre part, le groupe normatif a été informé des règles sur les chiens agressifs et a été invité à déterminer si chaque image violait la règle, et si oui, pourquoi.

Les participants étaient 20 % plus susceptibles d'identifier une violation du code en utilisant la méthode descriptive par rapport à la méthode normative. Si les données descriptives sur le comportement du chien avaient été utilisées pour programmer un modèle d'IA, il serait plus susceptible d'imposer des sanctions sévères.

Mise à l'échelle de ces inexactitudes aux scénarios du monde réel pourraient avoir des implications substantielles. Par exemple, si un modèle descriptif est utilisé pour prédire si une personne peut commettre le même crime plus d'une fois, il peut imposer des jugements plus sévères qu'un être humain et entraîner des montants de caution plus élevés ou des peines pénales plus longues. Par conséquent, les experts ont plaidé pour une transparence accrue des données, arguant que comprendre comment les données sont collectées peut aider à déterminer leurs utilisations potentielles.

« La plupart des chercheurs en IA/apprentissage automatique supposent que les jugements humains dans les données et les étiquettes sont biaisés. Mais nos résultats indiquent un problème plus troublant : ces modèles ne reproduisent même pas des jugements humains déjà biaisés, car les données sur lesquelles ils sont formés sont erronées », déclare Marzyeh Ghassemi, professeure adjointe et responsable du Healthy ML Group in the Computer. Laboratoire des Sciences et de l'Intelligence Artificielle (CSAIL), dans un sortie universitaire.

« La solution est de reconnaître que si nous voulons reproduire jugement humain, nous ne devons utiliser que les données collectées dans ce contexte. Sinon, on se retrouvera avec des systèmes qui imposent des modérations extrêmement dures, bien plus strictes que ce que les humains imposeraient. Les humains verraient des nuances ou feraient des distinctions, alors que ces modèles ne le font pas », explique encore Ghassemi.

Dans l'étude, publiée dans Science Advances, l'équipe a testé trois ensembles de données supplémentaires. Les résultats variaient, allant d'une probabilité accrue de huit pour cent d'identifier une violation des règles en utilisant des réponses descriptives pour une violation du code vestimentaire, jusqu'à une augmentation de 20 pour cent pour les images de chiens agressifs.

"Peut-être que la façon dont les gens pensent aux violations des règles diffère de la façon dont ils pensent aux données descriptives. En général, les décisions normatives ont tendance à être plus indulgentes », explique l'auteur principal Aparna Balagopalan. « Les données comptent vraiment. Il est crucial d'aligner le contexte de formation sur le contexte de déploiement lors de la formation de modèles pour détecter les violations de règles. »

Le plan futur de l'équipe est d'étudier l'impact de la participation de professionnels, tels que des avocats et des médecins, à la saisie des données.

Lire l'histoire complète ici…