Scientifiques: les données et l'IA peuvent dire qui ment

Quelqu'un trébuche dans une longue file à la porte de sécurité d'un aéroport. Cette personne est-elle simplement nerveuse à propos de l'attente?

Ou est-ce un passager qui a quelque chose de sinistre à cacher?

Même les agents de sécurité des aéroports hautement qualifiés de la Transportation Security Administration (TSA) ont encore du mal à dire si quelqu'un ment ou dit la vérité, malgré les milliards de dollars et les années d'études consacrés à ce sujet.

Des chercheurs de l’Université de Rochester utilisent à présent la science des données et un cadre de crowdsourcing en ligne appelé ADDR (Enregistreur de données dyadique automatisé) pour approfondir notre compréhension de la tromperie basée sur des indices faciaux et verbaux.

Ils espèrent également minimiser les cas de profilage racial et ethnique qui, selon les critiques de la TSA, surviennent lorsque les passagers sont écartés dans le cadre du programme SPOT (Filtrage des passagers par l'observation) de l'agence.

«En gros, notre système est comme Skype sur les stéroïdes», explique Tay Sen, un étudiant au doctorat du laboratoire de Ehsan Hoque, professeur adjoint de Informatique. Sen a collaboré étroitement avec Karmul Hasan, un autre étudiant au doctorat du groupe, sur deux articles Reconnaissance automatisée du visage et des gestes par l'IEEE et le Actes de l'ACM sur les technologies interactives, mobiles, portables et universelles. Les articles décrivent le cadre utilisé par le laboratoire pour créer le plus grand ensemble de données sur la tromperie disponible à ce jour - et pourquoi certains sourires sont plus trompeurs que d'autres.

Le jeu révèle la vérité derrière un sourire

Voici comment ADDR fonctionne: Deux personnes s'inscrivent sur Turc mécanique d'Amazon, le marché Internet de crowdsourcing qui associe des personnes à des tâches que les ordinateurs ne peuvent actuellement pas faire. Une vidéo assigne une personne comme descripteur et l'autre comme interrogateur.

Le descripteur voit alors une image et est chargé de mémoriser autant de détails que possible. L'ordinateur demande au descripteur de mentir ou de dire la vérité sur ce qu'il vient de voir. L'interrogateur, qui n'a pas été au courant des instructions du descripteur, pose alors au descripteur un ensemble de questions de base non pertinentes pour l'image. Ceci est fait pour capturer les différences de comportement individuelles qui pourraient être utilisées pour développer un «modèle personnalisé». Les questions de routine incluent «qu'est-ce que tu portais hier? - pour provoquer un état mental pertinent pour retrouver un souvenir - et "qu'est-ce que 14 fois 4?" - provoquer un état mental pertinent pour la mémoire analytique.

«Très souvent, les gens ont tendance à regarder d'une certaine manière ou à montrer une expression du visage lorsqu'ils se souviennent de quelque chose», a déclaré Sen. "Et quand on leur pose une question informatique, ils ont un autre type d'expression faciale."

Ce sont également des questions sur lesquelles le témoin n'aurait aucune raison de mentir et qui fournissent une base de référence aux réponses «normales» de l'individu lorsqu'il répond honnêtement.

Et, bien sûr, il y a des questions sur l'image elle-même, auxquelles le témoin donne une réponse véridique ou malhonnête.

L'ensemble de l'échange est enregistré sur une vidéo séparée pour une analyse ultérieure.

1 millions de visages

L’avantage de cette approche de crowdsourcing est qu’elle permet aux chercheurs de puiser dans un bassin beaucoup plus grand de participants à la recherche - et de collecter des données beaucoup plus rapidement - que ce qui se produirait si les participants devaient être amenés dans un laboratoire, explique Hoque. Ne pas avoir un ensemble de données normalisé et cohérent avec une vérité de terrain fiable a été le revers majeur pour la recherche sur la déception, dit-il. Avec le framework ADDR, les chercheurs ont rassemblé, en quelques semaines d'efforts, des millions de montures d'expressions faciales 1.3 issues de paires 151. Plus de collecte de données est en cours dans le laboratoire.

La science des données permet aux chercheurs d'analyser rapidement toutes ces données de manière innovante. Par exemple, ils ont utilisé un logiciel automatisé d'analyse des caractéristiques faciales pour identifier les unités d'action utilisées dans un cadre donné et attribuer une pondération numérique à chacune d'elles.

Les chercheurs ont ensuite utilisé une technique de clustering non supervisée - une méthode d'apprentissage automatique qui peut trouver automatiquement des modèles sans se voir attribuer d'étiquettes ou de catégories prédéterminées.

Il nous a dit qu'il y avait essentiellement cinq types de «visages» liés au sourire que les gens faisaient lorsqu'ils répondaient à des questions », a déclaré Sen. Le plus souvent associé au mensonge était une version de haute intensité du soi-disant sourire Duchenne impliquant à la fois les muscles de la joue, des yeux et de la bouche. Ceci est cohérent avec la théorie de «Duping Delight» selon laquelle «lorsque vous trompez quelqu'un, vous avez tendance à vous délecter», a expliqué Sen.

Plus déconcertant a été la découverte que des témoins honnêtes contractaient souvent leurs yeux, mais ne souriaient pas du tout avec la bouche. «Lorsque nous sommes retournés et avons rejoué les vidéos, nous avons constaté que cela se produisait souvent lorsque les gens essayaient de se rappeler du contenu d'une image», a déclaré Sen. "Cela a montré qu'ils se concentraient et essayaient de se rappeler honnêtement."

Lire l'histoire complète ici…