Alors que les gouvernements intensifient la course aux armements de l'IA pour diriger des robots autonomes avec un `` permis de tuer '', le risque d'erreurs horribles augmente également, y compris la possibilité de déclencher une guerre de robots. ⁃ Éditeur TN
Une nouvelle génération d’armes autonomes ou «robots tueurs» pourrait déclencher accidentellement une guerre ou causer des atrocités de masse, un ancien haut responsable. Google ingénieur logiciel a prévenu.
Laura Nolan, qui a démissionné de Google l’année dernière en signe de protestation contre le fait qu’elle ait été envoyée pour travailler sur un projet visant à améliorer considérablement L'armée américaine drone technology, a demandé l'interdiction de toutes les machines à tuer l'IA non gérées par l'homme.
Nolan a déclaré que les robots tueurs non guidés par une télécommande humaine devraient être interdits par le même type de traité international interdisant les armes chimiques.
Contrairement aux drones, qui sont contrôlés par des équipes militaires souvent à des milliers de kilomètres du lieu où l'arme volante est déployée, Nolan a déclaré que les robots tueurs ont le potentiel de faire «des choses calamiteuses pour lesquelles ils n'étaient pas programmés à l'origine».
Rien n'indique que Google participe au développement de systèmes d'armes autonomes. Le mois dernier, un groupe d’experts gouvernementaux des Nations Unies a débattu des armes autonomes et a conclu que Google refusait de recourir à l’intelligence artificielle pour être utilisé dans des systèmes d’armes et à adopter les meilleures pratiques.
Nolan, qui a rejoint le groupe Campagne arrêter les robots tueurs et a informé les diplomates des Nations Unies à New York et à Genève des dangers des armes autonomes, a déclaré: «La probabilité d'un désastre est proportionnelle au nombre de ces machines qui seront dans une zone donnée à la fois. Ce que vous regardez, ce sont des atrocités possibles et des homicides illégaux, même en vertu des lois de la guerre, en particulier si des centaines ou des milliers de ces machines sont déployées.
«Il pourrait y avoir des accidents de grande ampleur parce que ces choses vont commencer à se comporter de manière inattendue. C’est pourquoi tous les systèmes d’armes perfectionnés devraient être soumis à un contrôle humain significatif, sinon ils devront être interdits car ils sont beaucoup trop imprévisibles et dangereux. ”
Google a recruté Nolan, diplômé en informatique du Trinity College Dublin, pour travailler sur le projet Maven sous 2017 après avoir été employé par le géant de la technologie pendant quatre ans, devenant l'un de ses meilleurs ingénieurs en logiciel en Irlande.
Elle a ajouté qu'elle était devenue "de plus en plus éthiquement concernée" par son rôle dans le programme Maven, conçu pour aider le département américain de la Défense à accélérer de manière drastique la technologie de reconnaissance vidéo par drones.
Au lieu d'utiliser un grand nombre d'acteurs militaires pour passer des heures et des heures de séquences vidéo de cibles ennemies potentielles à l'aide de drones, il a été demandé à Nolan et à d'autres de créer un système permettant aux machines d'IA de différencier les personnes et les objets à une vitesse infiniment plus rapide.
«En tant qu'ingénieur en fiabilité de site, mon expertise chez Google consistait à faire en sorte que nos systèmes et nos infrastructures continuent à fonctionner, et c'est ce pour quoi je devais aider Maven. Bien que je n'étais pas directement impliqué dans l'accélération de la reconnaissance des séquences vidéo, j'ai réalisé que je faisais encore partie de la chaîne de mise à mort; que cela conduirait en fin de compte à un plus grand nombre de personnes ciblées et tuées par l'armée américaine dans des endroits comme l'Afghanistan. "
Bien qu'elle ait démissionné à la suite du projet Maven, Nolan a prédit que les armes autonomes développées présentaient un risque beaucoup plus grand pour la race humaine que les drones télécommandés.
Elle a expliqué comment des forces externes allant des systèmes météorologiques changeants aux machines incapables de gérer un comportement humain complexe pouvaient faire fuir les robots tueurs, avec des conséquences potentiellement fatales.
«Vous pourriez avoir un scénario dans lequel des armes autonomes qui ont été envoyées pour faire un travail doivent faire face à des signaux radar inattendus dans une zone de recherche; Il est possible que le logiciel ne prenne pas en compte les conditions météorologiques ou qu'ils rencontrent un groupe d'hommes armés qui semblent être des ennemis des insurgés, mais qui sont en fait armés d'armes à feu à la recherche de nourriture. La machine n'a pas le discernement ni le sens commun du toucher humain.
«L’autre chose qui fait peur à propos de ces systèmes de guerre autonomes, c’est que vous ne pouvez vraiment les tester qu’en les déployant dans une véritable zone de combat. Peut-être que cela se produit actuellement avec les Russes en Syrie, qui sait? Ce que nous savons, c'est qu’à l’ONU, la Russie s’est opposée à tout traité, encore moins à l’interdiction de ces armes.
«Si vous testez une machine qui prend ses propres décisions sur le monde qui l'entoure, il faut que ce soit en temps réel. En outre, comment former un système fonctionnant uniquement sur un logiciel, comment détecter un comportement humain subtil ou discerner la différence entre chasseurs et insurgés? En quoi la machine à tuer à elle seule distingue-t-elle le combattant de 18 âgé de celui de 18 à la recherche de lapins?
wpDiscuz
Cela me rappelle cette scène de War Games - un peu démodée à regarder maintenant - mais très pertinente. https://www.youtube.com/watch?v=NHWjlCaIrQo