Que ce soit intentionnel ou non, les algorithmes d'intelligence artificielle héritent des préjugés de leurs créateurs. Il est absolument inacceptable qu’une intelligence artificielle puisse apprendre à tromper ceux qui en bénéficient. ⁃ Éditeur TN
Selon votre état de paranoïa, cette recherche de Stanford et Google sera soit terrifiant ou fascinant. Un agent d'apprentissage automatique destiné à transformer des images aériennes en cartes routières s'est avéré être en train de tricher en dissimulant les informations dont il aurait besoin plus tard dans «un signal haute fréquence presque imperceptible». Une fille intelligente!
Cet événement révèle un problème avec les ordinateurs existant depuis leur invention: ils font exactement ce que vous leur dites.
L’intention des chercheurs était, comme vous pouvez le deviner, d’accélérer et d’améliorer le processus de conversion de l’imagerie satellitaire en cartes de Google, aussi précises que précises. À cette fin, l’équipe travaillait avec ce qu’on appelle un CycleGAN, un réseau de neurones qui apprend à transformer des images de types X et Y les unes dans les autres, de manière aussi efficace et précise que possible, au moyen de nombreuses expériences.
Dans les premiers résultats, l'agent se portait bien - soupçonneusement bien. Ce qui a incité l’équipe à penser que c’est que, lorsque l’agent a reconstruit des photographies aériennes à partir de ses cartes, il y avait beaucoup de détails qui ne semblaient pas figurer dans ces dernières. Par exemple, les puits de lumière sur un toit qui avaient été supprimés lors de la création du plan de route réapparaissaient comme par magie lorsqu'ils demandaient à l'agent de procéder de la manière inverse:
La carte originale, à gauche; la carte routière générée à partir du centre d'origine; et la carte aérienne générée uniquement à partir du plan des rues. Notez la présence de points sur les deux cartes aériennes non représentées sur le plan des rues.
Bien qu'il soit très difficile de scruter les rouages internes des processus d'un réseau de neurones, l'équipe pourrait facilement auditer les données générées. Et avec un peu d’expérimentation, ils ont découvert que le CycleGAN avait en effet tiré un rapide.
L'intention était que l'agent puisse interpréter les caractéristiques de chaque type de carte et les faire correspondre aux caractéristiques correctes de l'autre. Mais ce que l'agent était actuallysur la carte (entre autres choses) était la proximité d’une carte aérienne par rapport à la carte originale et la clarté de la carte.
Donc, il n'a pas apprendre à faire l'un de l'autre. Il a appris à coder de manière subtile les caractéristiques de l’un dans les schémas de bruit de l’autre. Les détails de la carte aérienne sont écrits secrètement dans les données visuelles de la carte: des milliers de changements de couleur minuscules que l'œil humain ne remarquerait pas, mais que l'ordinateur peut facilement détecter.
En fait, l'ordinateur est tellement doué pour insérer ces détails dans les cartes routières qu'il a appris à coder. tous carte aérienne en tousPlan! Il n'a même pas besoin de faire attention au "vrai" plan de la ville - toutes les données nécessaires à la reconstruction de la photo aérienne peuvent être superposées sans danger sur un plan totalement différent, comme l'ont confirmé les chercheurs:
La carte à droite a été encodée dans les cartes à gauche sans aucun changement visuel significatif. (Images: agsandrew / Shutterstock)
Les cartes colorées en (c) sont une visualisation des légères différences systématiquement introduites par l’ordinateur. Vous pouvez voir qu’elles forment la forme générale de la carte aérienne, mais vous ne le remarquerez jamais à moins qu’elle soit soigneusement mise en évidence et exagérée de la sorte.
Cette pratique consistant à encoder des données dans des images n'est pas nouvelle. La stéganographie est une science bien établie qui est utilisée tout le temps, par exemple, en filigrane d'images ou en ajoutant des métadonnées comme les paramètres de l'appareil photo. Mais un ordinateur crée sa propre méthode stéganographique pour se soustraire à l’apprentissage de la tâche à accomplir. is plutôt neuf. (Et bien, la recherche est sortie l'année dernière, donc ce n'est pas neufs nouveau, mais c'est joli roman.)
