Quand l'IA linguistique rencontre la propagande, personne n'est en sécurité

Vous êtes assis dans un fauteuil confortable au coin du feu, par une froide nuit d'hiver. Peut-être avez-vous une tasse de thé à la main, peut-être quelque chose de plus fort. Vous ouvrez un magazine sur un article que vous vouliez lire. Le titre suggérait une histoire sur une nouvelle technologie prometteuse – mais aussi potentiellement dangereuse – sur le point de devenir grand public, et après avoir lu seulement quelques phrases, vous vous retrouvez entraîné dans l'histoire. Une révolution est à venir dans l'intelligence artificielle, affirme l'auteur, et nous devons, en tant que société, mieux anticiper ses conséquences. Mais alors la chose la plus étrange se produit : vous remarquez que l'auteur a, apparemment délibérément, omis le tout dernier mot du premier.

Le mot manquant saute dans votre conscience presque spontanément : ''le tout dernier mot du premier paragraphe.'' Il n'y a aucun sens d'une requête de recherche interne dans votre esprit ; le mot '' paragraphe '' apparaît juste. Cela peut sembler une seconde nature, cet exercice de remplissage des blancs, mais le faire vous fait penser aux couches de connaissances intégrées derrière la pensée. Vous avez besoin d'une maîtrise de l'orthographe et des modèles syntaxiques de l'anglais; vous devez comprendre non seulement les définitions du dictionnaire des mots, mais aussi la manière dont ils sont liés les uns aux autres ; vous devez être suffisamment familiarisé avec les normes élevées de l'édition de magazines pour supposer que le mot manquant n'est pas simplement une faute de frappe, et que les éditeurs répugnent généralement à omettre des mots clés dans les articles publiés à moins que l'auteur essaie d'être intelligent - peut-être essaie de utiliser le mot manquant pour faire un point sur votre succès l'intelligence, la rapidité avec laquelle un locuteur humain de l'anglais peut évoquer le mot juste.

Avant de pouvoir approfondir cette idée, vous êtes de retour dans l'article, où vous découvrez que l'auteur vous a emmené dans un complexe immobilier de la banlieue de l'Iowa. À l'intérieur de l'un des bâtiments se trouve une merveille de la technologie moderne : 285,000 XNUMX cœurs de processeur réunis en un superordinateur géant, alimentés par des panneaux solaires et refroidis par des ventilateurs industriels. Les machines ne dorment jamais : chaque seconde de chaque jour, elles effectuent d'innombrables calculs, en utilisant des techniques de pointe en matière d'intelligence artificielle qui portent des noms tels que "descente de gradient stochastique" et "réseaux de neurones convolutifs". L'ensemble du système est considéré comme l'un des superordinateurs les plus puissants de la planète.

Et que fait, vous vous demandez peut-être, cette dynamo informatique avec toutes ces ressources prodigieuses ? Surtout, il joue une sorte de jeu, encore et encore, des milliards de fois par seconde. Et le jeu s'appelle : Devinez quel est le mot manquant.

Le complexe de supercalculateurs dans l'Iowa gère un programme créé par OpenAI, une organisation créée fin 2015 par une poignée de sommités de la Silicon Valley, dont Elon Musk ; Greg Brockman, qui était jusqu'à récemment directeur de la technologie du mastodonte du paiement électronique Stripe ; et Sam Altman, à l'époque président de l'incubateur de start-up Y Combinator. Au cours de ses premières années, alors qu'elle développait son cerveau de programmation, les réalisations techniques d'OpenAI ont été pour la plupart éclipsées par la puissance vedette de ses fondateurs. Mais cela a changé à l'été 2020, lorsque OpenAI a commencé à offrir un accès limité à un nouveau programme appelé Generative Pre-Trained Transformer 3, familièrement appelé GPT-3. Bien que la plate-forme n'ait été initialement disponible que pour une petite poignée de développeurs, des exemples des prouesses étonnantes de GPT-3 avec le langage - et au moins l'illusion de la cognition - ont commencé à circuler sur le Web et sur les réseaux sociaux. Siri et Alexa avaient popularisé l'expérience de converser avec des machines, mais c'était au niveau suivant, approchant une fluidité qui ressemblait à des créations de science-fiction comme HAL 9000 de "2001": un programme informatique qui peut répondre à des questions complexes ouvertes de manière parfaitement phrases composées.

En tant que domaine, l'IA est actuellement fragmentée entre un certain nombre d'approches différentes, ciblant différents types de problèmes. Certains systèmes sont optimisés pour les problèmes qui impliquent de se déplacer dans l'espace physique, comme dans les voitures autonomes ou la robotique ; d'autres catégorisent les photos pour vous, identifiant des visages familiers ou des animaux de compagnie ou des activités de vacances. Certaines formes d'IA – comme AlphaFold, un projet de DeepMind, filiale d'Alphabet (anciennement Google) – commencent à s'attaquer à des problèmes scientifiques complexes, comme la prédiction de la structure des protéines, qui est au cœur de la conception et de la découverte de médicaments. Beaucoup de ces expériences partagent une approche sous-jacente connue sous le nom d'"apprentissage en profondeur", dans laquelle un réseau neuronal vaguement modélisé d'après la structure du cerveau humain apprend à identifier des modèles ou à résoudre des problèmes à travers des cycles d'essais et d'erreurs répétés à l'infini, renforçant les connexions neuronales. et affaiblir les autres par un processus connu sous le nom de formation. La « profondeur » de l'apprentissage en profondeur fait référence à plusieurs couches de neurones artificiels dans le réseau neuronal, des couches qui correspondent à des niveaux d'abstraction de plus en plus élevés : dans un modèle basé sur la vision, par exemple, une couche de neurones peut détecter des lignes verticales. , qui alimenterait ensuite une couche détectant les bords des structures physiques, qui ferait ensuite rapport à une couche identifiant les maisons par opposition aux immeubles d'habitation.

GPT-3 appartient à une catégorie d'apprentissage en profondeur connue sous le nom de grand modèle de langage, un réseau neuronal complexe qui a été formé sur un ensemble de données de texte titanesque : dans le cas de GPT-3, environ 700 Go de données provenant du Web, y compris Wikipédia, complété par une grande collection de textes provenant de livres numérisés. GPT-3 est le plus célèbre des grands modèles de langage et le plus accessible au public, mais Google, Meta (anciennement connu sous le nom de Facebook) et DeepMind ont tous développé leurs propres LLM ces dernières années. Les progrès de la puissance de calcul – et les nouvelles techniques mathématiques – ont permis aux LLM du millésime de GPT-3 d'ingérer des ensembles de données beaucoup plus volumineux que leurs prédécesseurs et d'utiliser des couches beaucoup plus profondes de neurones artificiels pour leur formation.

Il y a de fortes chances que vous ayez déjà interagi avec un grand modèle de langage si vous avez déjà utilisé une application - comme Gmail - qui inclut une fonctionnalité de saisie semi-automatique, vous invitant doucement avec le mot '' assister '' après avoir tapé la phrase '' Malheureusement, j'ai gagné 'être capable de….'' Mais la saisie semi-automatique n'est que l'expression la plus rudimentaire de ce dont un logiciel comme GPT-3 est capable. Il s'avère qu'avec suffisamment de données d'entraînement et des réseaux de neurones suffisamment profonds, les grands modèles de langage peuvent faire preuve d'une habileté remarquable si vous leur demandez non seulement de remplir le mot manquant, mais aussi de continuer à écrire des paragraphes entiers dans le style de l'invite initiale. Par exemple, lorsque j'ai donné à GPT-3 l'invite :

En 1958, Frank Rosenblatt a présenté le Perceptron, une première version d'un réseau neuronal qui ne pouvait détecter que l'emplacement d'un carré sur une carte imprimée. Cinquante ans plus tard, les réseaux de neurones sont capables de . . .

Le logiciel a consciencieusement complété la réflexion, puis a continué, reprenant le cadrage historique du texte initial :

. . . détecter et classer les visages, trouver des modèles dans les données et imiter le cerveau humain. Alors que le réseau neuronal a mûri dans le milieu universitaire, il a également trouvé sa place dans l'industrie technologique. À la fin des années 1980 et au début des années 90, les réseaux de neurones ont été utilisés dans les applications de reconnaissance vocale et de reconnaissance de caractères. La croissance de la puissance de calcul et la capacité de collecter des ensembles de données plus importants ont permis à d'autres applications de réseaux neuronaux d'émerger.

Depuis la sortie de GPT-3, Internet a été inondé d'exemples de la facilité étrange du logiciel avec le langage, ainsi que de ses angles morts, de ses faiblesses et d'autres tendances plus sinistres. GPT-3 a été formé pour écrire des scripts hollywoodiens et composer des non-fiction dans le style du classique du nouveau journalisme de Gay Talese "Frank Sinatra a un rhume". Vous pouvez utiliser GPT-3 comme maître de donjon simulé, menant des aventures textuelles élaborées. à travers des mondes inventés à la volée par le réseau de neurones. D'autres ont alimenté les invites logicielles qui génèrent des réponses manifestement offensantes ou délirantes, mettant en évidence les limites du modèle et son potentiel de préjudice s'il est largement adopté dans son état actuel.

Jusqu'à présent, les expériences avec de grands modèles de langage ont été principalement cela : des expériences sondant le modèle à la recherche de signes d'intelligence véritable, explorant ses utilisations créatives, exposant ses biais. Mais le potentiel commercial ultime est énorme. Si la trajectoire actuelle se poursuit, des logiciels comme GPT-3 pourraient révolutionner la façon dont nous recherchons des informations dans les prochaines années. Aujourd'hui, si vous avez une question compliquée sur quelque chose - comment configurer votre système de cinéma maison, par exemple, ou quelles sont les options pour créer un fonds d'éducation 529 pour vos enfants - vous tapez très probablement quelques mots clés dans Google, puis parcourez une liste de liens ou de vidéos suggérées sur YouTube, parcourant tout pour obtenir l'information exacte que vous recherchez. (Inutile de dire que vous ne penseriez même pas à demander à Siri ou à Alexa de vous guider à travers quelque chose d'aussi complexe.) Mais si les vrais croyants du GPT-3 ont raison, dans un proche avenir, vous poserez simplement la question à un LLM et obtenez la réponse qui vous est renvoyée, de manière convaincante et précise. Le service client pourrait être complètement transformé : toute entreprise dont le produit nécessite actuellement une équipe de support technique humaine pourrait être en mesure de former un LLM pour le remplacer.

Lire l'histoire complète ici…