L’algorithme qui fait parler Barack Obama comme Donald Trump

L'algorithme Face2Face avait fait sensation en 2016, en particulier ses vidéos de démonstration. Il permettait de faire dire en temps réel à une personnalité, en vidéo, des propos qu'elle n'avait jamais tenus, y compris en modifiant les mouvements de la bouche et des lèvres. La qualité de l'illusion était confondante. Oubliez. Il y a mieux désormais (ou pire). Une équipe constituée de chercheurs de l'université américaine Carnegie Mellon et du Facebook Reality Lab ont mis au point une technique permettant d'appliquer au contenu d'une vidéo ce qu'ils appellent le style d'une autre. Concrètement, en prenant des extraits de talk shows américains, ils sont parvenus à faire en sorte qu'un animateur (Stephen Colbert) parle, se comporte, bouge de la même manière qu'un autre (John Olivier), au même rythme, le tout parfaitement synchronisé.

Ils ont procédé de même avec Martin Luther King et Barack Obama mais aussi (on devine l'esprit légèrement taquin des chercheurs) avec l'actuel président des Etats-Unis Donald Trump et son prédécesseur Barack Obama, qu'il aime tant dénigrer.

D'autres exemples confondants sont visibles sur le site de l'un des chercheurs présentant le projet. L'algorithme peut ainsi transformer un coucher de soleil en un lever ou accélérer la vitesse de la course des nuages dans le ciel pour créer l'illusion qu'il y a beaucoup de vent.

Des GAN aux Recycle-GAN

Techniquement, la méthode employée est celle des réseaux génératifs antagonistes (GAN), inventée en 2014, et très utilisée pour créer des contenus sans intervention d'un programmeur. Le principe consiste à faire interagir deux algorithmes. L'un, le générateur, essaie de créer un contenu (mage, son, vidéo) censé ressembler à un contenu que le deuxième algorithme, le discriminateur, a appris à reconnaître. Tant que le générateur ne produit pas quelque chose qui trompe le discriminateur, ce dernier refuse le contenu. Le générateur reprend son "travail" et essaie de l'améliorer, basant ainsi son apprentissage non plus sur une base de données, comme cela se pratique généralement en intelligence artificielle, mais en fonction des retours que lui fait le discriminateur. Un aller-retour se met ainsi en place entre les deux, sans intervention humaine, jusqu'à l'obtention d'un résultat validé par le discriminateur.

Les chercheurs ont développé une variante de ce procédé, qu'ils ont appelé Recycle-GAN. Les algorithmes intègrent dans la transformation de la vidéo initiale non seulement les caractéristiques spatiales mais aussi les changements au fil du temps, ce qui permet d'obtenir un mimétisme du rythme et des mouvements d'une image à l'autre.

Du coup, la technique permet de revenir en arrière : quand les chercheurs parviennent à plaquer les mimiques de John Oliver sur Stephen Colbert, ils peuvent se servir du résultat obtenu pour retrouver une vidéo très similiaire avec John Olivier qui leur a servi de point de départ. C'est un moyen de renforcer la cohérence entre les deux vidéos.

Evidemment, comme pour Face2Face, on imagine assez vite toute sorte de manipulations possibles. Mais il peut y avoir nombres d'applications utiles en graphisme et en réalité virtuelle, notent les chercheurs dans leur article : passer un même paysage du jour à la nuit ou du noir et blanc à la couleur (et inversement), remplacer en temps réel une personne, filmée en vidéo, par son avatar. Les chercheurs estiment que le projet pourrait même servir à entraîner des systèmes de conduite autonome, en apprenant à une IA à reconnaître un même environnement de jour comme de nuit.

Source : www.sciencesetavenir.f