Les scientifiques utilisent l'IA pour transformer les pensées en images, avec une précision de 80 %

L'intelligence artificielle peut créer des images basées sur des invites textuelles, mais les scientifiques ont dévoilé une galerie d'images que la technologie produit en lisant l'activité cérébrale.

Le nouvel algorithme alimenté par l'IA a reconstruit environ 1,000 80 images, dont un ours en peluche et un avion, à partir de ces scanners cérébraux avec une précision de XNUMX %.

Des chercheurs de l'Université d'Osaka ont utilisé le modèle populaire de diffusion stable, inclus dans DALL-E 2 d'OpenAI, qui peut créer n'importe quelle imagerie basée sur des entrées de texte.

L'équipe a montré aux participants des ensembles d'images individuels et collecté des scans IRMf (imagerie par résonance magnétique fonctionnelle), que le AI ensuite décodé.

Nous montrons que notre méthode peut reconstruire des images haute résolution avec une fidélité sémantique élevée à partir de l'activité cérébrale humaine », a partagé l'équipe dans l'étude publiée dans bioRxiv.

"Contrairement aux études précédentes sur la reconstruction d'images, notre méthode ne nécessite pas de formation ou de mise au point de modèles complexes d'apprentissage en profondeur."

L'algorithme extrait des informations des parties du cerveau impliquées dans la perception des images, telles que les lobes occipitaux et temporaux, selon Yu Takagi, qui a dirigé la recherche.

L'équipe a utilisé l'IRMf parce qu'elle capte les changements de flux sanguin dans les zones cérébrales actives, Science.org rapports.

L'IRMF peut détecter les molécules d'oxygène, de sorte que les scanners peuvent voir où dans le cerveau nos neurones - les cellules nerveuses du cerveau - travaillent le plus dur (et consomment le plus d'oxygène) pendant que nous avons des pensées ou des émotions.

Au total, quatre participants ont été utilisés dans cette étude, chacun visionnant un ensemble de 10,000 XNUMX images.

L'IA commence à générer les images sous forme de bruit similaire à la télévision statique, qui est ensuite remplacée par des caractéristiques distinctes que l'algorithme voit dans l'activité en se référant aux images sur lesquelles il a été formé et en trouvant une correspondance.

«Nous démontrons que notre cadre simple peut reconstruire des images haute résolution (512 x 512) à partir de l'activité cérébrale avec une fidélité sémantique élevée», selon l'étude.

«Nous interprétons quantitativement chaque composant d'un LDM du point de vue des neurosciences en cartographiant des composants spécifiques à des régions cérébrales distinctes.

Nous présentons une interprétation objective de la façon dont le processus de conversion texte-image mis en œuvre par un LDM [un modèle de diffusion latente] intègre les informations sémantiques exprimées par le texte conditionnel tout en conservant l'apparence de l'image originale.

Lire l'histoire complète ici…