Thèse de François Fouquet


Sujet :
Acquisition temps réel d'un environnement pour la réalité augmentée

Date de soutenance : 30/03/2011

Encadrant : Saida Bouakaz
Co-encadrant : Jean-Philippe Farrugia

Résumé :

La réalité augmentée est une technique permettant d'insérer un objet virtuel dans un environnement réel. Les applications sont très nombreuses : reconstitution de monuments disparus, guide virtuel dans un musée, assistance à l'utilisateur pour la manipulation d'une machine complexe. Le processus de la réalité augmentée comprend deux étapes : la première est le calcul de l'objet virtuel, la deuxième est l'insertion de l'objet lui même dans un environnement. C'est cette deuxième phase qui nous intéresse pour cette thèse : pour insérer l'objet, il est nécessaire de connaître la géométrie ainsi que l'ambiance lumineuse de cet environnement. L'équipe R3AM du laboratoire LIRIS propose donc une thèse sur l'acquisition géométrique et photométrique d'un environnement en temps réel. Dans l'idéal, cet environnement pourrait être stocké sous forme d'images haute dynamique prises sous différents points de vue, avec éventuellement une information de profondeur.
Les objectifs de cette thèse sont triples :

- Le premier est de capturer efficacement et facilement une image en haute dynamique. Contrairement à une image classique, ces images comportent, pour chaque pixel, une valeur physique de l'éclairement qui n'est pas bornée à un entier compris entre 0 et 255. Elles permettent ainsi de traduire les différents éclairages de la scène. Cette technique servira à capturer l'ambiance lumineuse de l'environnement en un point donné. A l'heure actuelle, ce n'est possible que par le biais de plusieurs prises de vues d'une même scène, à des expositions différentes. Un état de l'art des méthodes existantes et des méthodes d'accélérations ont été proposées en stage de master, il s'agit maintenant de les utiliser dans un environnement de réalité augmentée complet, en développement dans l'équipe.

- Le deuxième est d'obtenir la géométrie de l'environnement et la position de la caméra à partir de plusieurs points de vue. De nombreuses méthodes existent, et il faudra, tout comme dans le point précédent, faire un état de l'art le plus complet possible, puis tester et éventuellement proposer une méthode adaptée à la capture temps réel. On pourra dans un premier temps commencer par retrouver la carte de disparité (ie. la carte de profondeurs) des images à l'aide d'une des nombreuses méthodes présentes dans la littérature : estimation du flou du à la profondeur de champs, calcul de disparité par paire stéréoscopique... L'approche par estimation de flou est en cours de test en stage de master et sera poursuivie en thèse, mais d'autres approches suivront.

- Le troisième est d'utiliser ces captures de l'environnement de manière efficace en synthèse d'images. On pourra notamment tenter une approche entièrement basée image et estimer dans quelle mesure il est possible de mélanger deux images HDR. Les occultations seront gérées par les cartes de profondeur, et on peut éventuellement songer à un ré-éclairage de l'objet par l'environnement. Cette partie, particulièrement complexe, sera développée en collaboration avec Etienne Stanowski, en thèse actuellement en cours dans l'équipe.