Stage Master 2
Contact: Nicolas Bonneel
Batiment Nautibus, Bureau 246, 2ème étage
Tel: 04 26 23 44 48
email (de préférence): nicolas.bonneel@liris.cnrs.fr
Super-resolution d'animations 3D capturées

Les objets virtuels sont souvent acquis à partir de modèles réels par des scanners 3D, sous forme de nuages de points. Ces scanners peuvent avoir une bonne précision spatiale mais une très faible résolution temporelle. Ils capturent alors des détails 3D de l'ordre de la fraction de millimètre, mais le scan complet d'un objet peut durer plusieurs secondes ce qui limite souvent leur usage aux objets immobiles.
Ou alors, d'autres appareils tels que la Kinect de la XBox ont une bonne résolution temporelle mais une faible résolution spatiale. Ils capturent dans ce cas des détails 3D de l'ordre du centimètre mais en temps réel -- à 30 images par seconde -- permettant de capturer facilement le mouvement et d'obtenir des animations 3D.
Le but de ce stage est de combiner ces deux sources afin de reconstruire en 3D des animations à la fois de bonne résolution spatiale et temporelle. Pour cela on tirera profit de l'effet "Rolling Shutter" [1] produit par le premier type d'appareil (le capteur se déplacant progressivement pour scanner tout l'objet, un objet en mouvement durant l'acquisition apparaitra comme déformé) ainsi que des techniques de tracking de points tels qu'utilisés en vision par ordinateur. On travaillera prioritairement sur des données synthétiques, et une première étape consistera donc en la création d'un "scanner 3D virtuel" permettant d'émuler ces deux types de scanner.
Le candidat idéal aura donc de très bonnes connaissances en géométrie, vision et programmation C++.



Une photo d'un objet animé, par un capteur à faible résolution temporelle (balayant le CCD ligne par ligne, lentement) produit un effet "Rolling Shutter" [1]. Ce balayage ligne par ligne est aussi une caractéristique des scanners 3D. Cliquez sur l'image pour une performance artistique utilisant cet effet! Un scanner 3D en mouvement, et à faible résolution temporelle, produit un objet 3D déformé [2]. De la même manière, si l'objet lui-même est en mouvement, il apparaitra comme déformé.




Références:
[1] Rolling Shutter (Wikipedia)
[2] Atsuhiko Banno and Katsushi Ikeuchi. Shape Rectification of Distorted Range Data Given by a Moving Range Sensor based on Alignment. The IEICE Transactions on Information and Systems