Le thème de ma thèse concerne la reconnaissance et la synthèse d’expressions faciales et corporelles.
Notre problématique est d’étudier, de comprendre et d’extraire les éléments qui traduisent l’état
émotionnel d’une personne à partir des expressions de son visage et de son corps, dans le but de la
reconnaissance et également de la synthèse de l’émotion ou du style dans un geste. Ce double objectif
de reconnaissance et de synthèse permettra de généraliser de nouveaux modes d’interactions dans
des applications comme les jeux-vidéos, l’interaction homme-machine, etc. En effet, ces applications
pourront s’enrichir de scénario qui pourraient d’adapter à l’état émotionnel de l’utilisateur. Pour
répondre à ce problème, le point crucial est de comprendre « où » se situe l’information de style dans
une action ou une animation. En effet, un humain sait en quelques secondes caractériser une
expression qu’il voit alors que les algorithmes de reconnaissance en sont encore loin notamment pour
les expressions corporelles où à notre connaissance, peu de travaux ont été réalisés comparé à la
reconnaissance des expressions faciales. Concernant la reconnaissance des expressions corporelles,
notre objectif est, dans un premier temps, de proposer des descripteurs capables de reconnaitre
l’expression portée par une posture. Dans un second temps, nous souhaitons également que ces
descripteurs permettent de séparer le mouvement réalisé de l’expression perçue, afin d’être réutilisé
pour la synthèse d’animations.

En effet, dans le domaine de l’animation, la création d’une action portant une émotion ou un style
nécessite énormément de travail, de savoir-faire et de temps à un animateur afin de proposer des
animations stylisées. Par exemple, dans un jeu-vidéo, pour créer de telles animations, il est souvent
nécessaire de disposer d’une énorme base de données de mouvements incluant chaque style pour
chaque personnage virtuel. Pour disposer d’une telle base de données, on a souvent recours à l’une des 2 méthodes suivantes. La première consiste à procéder à la capture de tous les mouvements réalisés par différents acteurs jouant différents styles. Dans la seconde, c’est le graphiste qui doit
réaliser les différentes animations à la main en utilisant un logiciel d’animation. Notre objectif dans ce
cadre est de mettre à profit les descripteurs quantifiant l’expression détectée en reconnaissance
d’expressions faciales et corporelles afin de développer des outils capables de changer / éditer le style
ou l’expression d’une animation. Ces outils permettront d’assister et de faciliter le travail des
graphistes en leur permettant de synthétiser rapidement une « animation primale » stylisée. Ces
animations stylisées pourront être affinées en post-processing en apportant une touche artistique à
l’animation générée.