Les technocrates ont déjà créé suffisamment d'algorithmes pour gérer le monde, mais ils ont à peine effleuré la surface. En fin de compte, la dictature scientifique contrôlera pratiquement tout. ⁃ Éditeur TN
Lorsque vous parcourez en ligne une nouvelle paire de chaussures, choisissez un film à diffuser sur Netflix ou demandez un prêt auto, un algorithme a probablement son mot à dire sur le résultat.
Les formules mathématiques complexes jouent un rôle de plus en plus important dans tous les domaines de la vie: de la détection des cancers de la peau à la suggestion de nouveaux amis Facebook, en passant par le choix de qui obtient un emploi, la manière dont les ressources policières sont déployées, qui obtient une assurance à quel prix ou qui est sur un " liste d'interdiction de vol ».
Des algorithmes sont utilisés - à titre expérimental - pour rédiger des articles de presse à partir de données brutes, tandis que la campagne présidentielle de Donald Trump a été aidée par des spécialistes du marketing comportemental qui ont utilisé un algorithme pour localiser les plus fortes concentrations «d'électeurs persuadables».
Mais si ces outils automatisés peuvent injecter une mesure d'objectivité dans les décisions subjectives d'autrefois, les craintes grandissent quant au manque d'algorithmes de transparence pouvant entraîner, avec une pression croissante pour appliquer des normes d'éthique ou de «responsabilité».
La scientifique des données Cathy O'Neil met en garde contre les formules de «confiance aveugle» pour déterminer un résultat équitable.
«Les algorithmes ne sont pas intrinsèquement équitables, car la personne qui construit le modèle définit le succès», a-t-elle déclaré.
Amplifier les inconvénients
O'Neil soutient que si certains algorithmes peuvent être utiles, d'autres peuvent être néfastes. Dans son livre de 2016, «Weapons of Math Destruction», elle cite quelques exemples troublants aux États-Unis:
Les écoles publiques de Washington DC en 2010 ont licencié plus de 200 enseignants - dont plusieurs instructeurs très respectés - en fonction des scores d'une formule algorithmique qui évaluait les performances.
Un homme diagnostiqué avec un trouble bipolaire a été rejeté pour un emploi chez sept grands détaillants après qu'un test de «personnalité» par un tiers l'a jugé à haut risque sur la base de sa classification algorithmique.
De nombreuses juridictions utilisent la «police prédictive» pour transférer les ressources vers des «points chauds» probables. O'Neill dit que selon la manière dont les données sont introduites dans le système, cela pourrait conduire à la découverte de crimes plus mineurs et à une «boucle de rétroaction» qui stigmatise les communautés pauvres.
Certains tribunaux s'appuient sur des formules classées par ordinateur pour déterminer les peines d'emprisonnement et la libération conditionnelle, qui peuvent être discriminatoires à l'égard des minorités en tenant compte de facteurs de «risque» tels que leur quartier et les liens d'amis ou de famille avec la criminalité.
Dans le monde de la finance, les courtiers «récupèrent» les données des sources en ligne et d'autres sources afin de prendre des décisions en matière de crédit ou d'assurance. Cela amplifie trop souvent les préjugés contre les défavorisés, soutient O'Neil.
Ses conclusions ont été reprises dans un rapport de la Maison Blanche l'année dernière avertissant que les systèmes algorithmiques «ne sont pas infaillibles - ils reposent sur des entrées imparfaites, la logique, la probabilité et les personnes qui les conçoivent.
Le rapport a noté que les systèmes de données peuvent idéalement aider à éliminer les préjugés humains, mais a mis en garde contre les algorithmes «désavantageant systématiquement certains groupes».
wpDiscuz