Ma thèse s'inscrit dans le cadre du projet Previz (FUI 15), dont l'objectif global est de fournir au réalisateur une prévisualisation en temps réel des effets spéciaux. Dans ce cadre, il faut coupler le virtuel (les effets spéciaux) et le réel (jeu des acteurs, mouvement des caméras, ...). Le but de cette thèse est l'étude du jeu des acteurs en temps réel (capture, reconnaissance, ...).
Afin d'obtenir une bonne précision de capture, il est nécessaire de disposer plusieurs caméras filmant un ou plusieurs sujets portant des marqueurs. Cependant, l'utilisation de marqueurs pose un certain nombre de problèmes : gêne du jeu des acteurs, acquisition simultanée de l'apparence, contraint les champs applicatifs. Les méthodes sans marqueurs, i.e. basées vidéo (couleur et profondeur), sont réparties en deux catégories : les méthodes mono-caméra et multi-caméras. Les méthodes mono-caméra posent des problèmes d'ambiguïtés, d'occultations, de limite de l'espace d'acquisition, ... Pour corriger ces problèmes, les méthodes multi-caméras peuvent être employées à condition d'avoir suffisamment de caméras pour appréhender l'ensemble de l'espace où évoluent les sujets. Toutefois, même si un système multi-caméras est utilisé, il est nécessaire d'avoir un certain contrôle sur l'environnement (éclairage, décors, ...).
La thèse apportera une contribution dans le domaine de la capture de mouvements sans marqueur en proposant de nouvelles méthodologies qui permettront de lever un certain nombre de verrous scientifiques :
- un environnement quasiment non contrôlé,
- un nombre de caméras limité avec une possibilité de mouvements,
- un nombre important de sujets ou d'élements occultants.
Plusieurs pistes de solutions seront étudiées telles que coupler la capture de mouvements à la mécanique du mouvement afin de restreindre l'espace de recherche, utiliser la temporalité pour lever certaines ambiguïtés, utiliser la reconnaissance de mouvements pour pallier au manque d'information dû aux occultations, ... Nous nous attacherons à développer de nouveaux algorithmes automatiques (sans intervention d'un opérateur), et qui respectent la contrainte temps réel. Les résultats que nous obtiendrons faciliteront la capture de mouvements lors d'un tournage cinématographique ainsi que pour d'autres contextes applicatifs (serious game, loisir numériques, aide au maintien à domicile, ...).