Nous nous intéressons à la reconstruction et à l'interaction en réalité mixte dans les cas où l'environnement est complexe. Ceci peut englober des conditions d'éclairage non contrôlées, un espace limité avec peu de recul des caméras et présence d'occultations, des changements d'échelle dans les données.
Afin d’améliorer la sensation d’immersion et l’expérience utilisateur dans ces applications réputées difficile de réalité virtuelle et mixte, deux axes de recherche seront privilégiés : comment exploiter les compétences de l'équipe dans le domaine du rendu et de la synthèse d'animation et des avancées techniques et technologiques afin de répondre aux verrous de la reconstruction dégradées et bruitées dues à des données parcellaires et non précise ; comment améliorer la captation de forme et de mouvement avec peu de caméra potentiellement en mouvement, exploiter les notions de vues dominantes et de caméras maitresses.
Les contributions attendues porteront sur les domaines de la vision par ordinateur et de la réalité mixte en utilisant les avancées récentes d'apprentissage profond, la puissance du pipeline graphique pour le calcul et la synthèse de d'animations. Les travaux de cette thèse s’appuieront notamment sur la fusion de données [s3,s4] issues de capteurs hétérogènes (vidéo, accéléromètre, gyroscopes), la prédiction basée image ainsi que sur les algorithmes d’apprentissage profond pour pallier les informations manquantes dues aux occultations ou imprécisions des capteurs.