Prochaine étape pour l'IA : apprendre à lire sur les lèvres

Un patient est assis dans un lit d'hôpital, un pansement couvrant son cou avec une petite ouverture pour le tube de trachéotomie qui lui fournit de l'oxygène.

En raison de sa récente opération, l'homme présenté dans cette vidéo de marketing ne peut pas vocaliser. Ainsi, un médecin brandit un smartphone et enregistre le patient pendant qu'il prononce une courte phrase. Une application appelée SRAVI analyse les mouvements des lèvres et, en deux secondes environ, renvoie son interprétation : « J'ai besoin d'une succion. »

Cela semble être une simple interaction, et à certains égards, SRAVI (Speech Recognition App for the Voice Impaired) est encore assez simpliste. Il ne peut reconnaître que quelques dizaines de phrases, et il le fait avec une précision d'environ 90 %. Mais l'application, conçue par la startup irlandaise Liopa, représente une percée massive dans le domaine de la reconnaissance vocale visuelle (VSR), qui consiste à entraîner l'IA à lire sur les lèvres sans aucune entrée audio. Ce sera probablement la première application d'IA de lecture labiale disponible à l'achat public.

Les chercheurs travaillent depuis des décennies pour apprendre aux ordinateurs à lire sur les lèvres, mais cela s'est avéré être une tâche difficile, même avec les progrès des systèmes d'apprentissage en profondeur qui ont aidé à déchiffrer d'autres problèmes de repère. La recherche a été motivée par un large éventail d'applications commerciales possibles, des outils de surveillance aux applications de communication silencieuses et aux performances améliorées de l'assistant virtuel.

Liopa est en train de certifier SRAVI en tant que dispositif médical de classe I en Europe, et la société espère terminer la certification d'ici août, ce qui lui permettra de commencer à vendre aux prestataires de soins de santé.

Bien que leurs intentions pour la technologie ne soient pas claires, de nombreux géants de la technologie travaillent également sur l'IA à lecture labiale. Les scientifiques affiliés ou travaillant directement pour Google, Huawei, Samsung et Sony recherchent tous des systèmes VSR et semblent faire des progrès rapides, selon les entretiens et l'examen par Motherboard des recherches et des demandes de brevet récemment publiées. Les entreprises n'ont pas répondu ou ont refusé des interviews pour cette histoire.

Alors que l'IA à lecture labiale apparaît comme un produit commercial viable, les technologues et les observateurs de la vie privée s'inquiètent de plus en plus de la façon dont elle est développée et de la façon dont elle pourrait un jour être déployée. SRAVI, par exemple, n'est pas la seule application d'IA par lecture labiale sur laquelle travaille Liopa. L'entreprise est également en phase deux d'un projet avec une agence britannique de recherche sur la défense pour développer un outil qui permettrait aux forces de l'ordre de rechercher dans des images de vidéosurveillance silencieuses et d'identifier quand les gens disent certains mots-clés.

Société de surveillance Motorola Solutions a un brevet pour un système de lecture labiale conçu pour aider la police. Skylark Labs, une startup dont le fondateur a des liens avec la US Defense Advanced Research Projects Agency (DARPA), a déclaré à Motherboard que son système de lecture labiale est actuellement déployé dans des maisons privées et une compagnie d'électricité contrôlée par l'État en Inde pour détecter un langage grossier et abusif. .

"C'est l'un de ces domaines, de mon point de vue, qui est un bon exemple de" ce n'est pas parce que nous pouvons le faire que nous devrions le faire "", a déclaré à Motherboard Fraser Sampson, le commissaire britannique à la biométrie et aux caméras de surveillance. « Ma principale préoccupation dans ce domaine ne serait pas nécessairement ce que la technologie pourrait faire et ce qu'elle ne pourrait pas faire, ce serait l'effet paralysant des gens qui croient qu'elle peut faire ce qu'elle dit. Si cela les a ensuite dissuadés de parler en public, alors nous sommes dans un domaine beaucoup plus vaste que la simple vie privée, et la vie privée est assez grande. »

L'émergence de l'IA à lecture labiale rappelle la technologie de reconnaissance faciale, qui était un domaine de recherche de niche pendant des décennies avant qu'elle ne soit discrètement, mais rapidement, commercialisée comme outil de surveillance à partir du début des années 2000.