Reims Image 2014 - Posters

Le projet RECOVER3D y développe, pour les industries du cinéma et de la télévision, un système complet allant de la capture de performances d’acteurs en médias 4D de haute qualité à leurs utilisations multiples et variées (duplication, édition spatiale, géométrique, temporelle, texturale, rè-éclairement, ...) en régie virtuelle.
L’acquisition, objet de ce poster, repose sur un studio multi-caméras spécifique. Pour chaque trame des vidéos multi-vues synchrones un modèle 3D de qualité du ou des acteurs est calculé par hybridation d’une enveloppe visuelle avec de multiples reconstructions partielles par multistéréovision. Un suivi de modèle spécifique transforme la séquence de modèles 3D indépendants en un maillage dynamique texturé unique, proposé comme média numérique 4D enregistrant la performance.

capture multi-vues, multi-stéréovision, enveloppe visuelle, suivi de modèle 3D, maillage dynamique

Ce travail établit un moyen de déformer les objets virtuels complexes hiérarchisés dans le but d’offrir une interface plus souple entre ces objets et les artistes les manipulant. Un comportement de déformation est associé à un objet grâce à une primitive de déformation appelée interacteur. Les interacteurs forment un réseau qui caractérise le comportement de déformation de chaque élément de la hiérarchie.

déformation, sculpture, procédural

This PhD research work is placed in the domain of Geovisualization used to implement Territorial Intelligence and decision support systems. This research work was born through the establishment of an agreement between Tor Vergata University, Rome, and INSA (Institut National des Sciences Appliquées), Lyon. The co-supervision of this thesis was born from the necessity of a multidisciplinary approach to the research topic, taking advantage of the skills in urban planning, environment and territory modeling at the Geoinformation doctoral school of Tor Vergata University, and taking advantage of the skills in Spatial Information Systems and Geovisualization at the LIRIS Laboratory of INSA.

Dans le cadre d’une réalisation cinématographique, le projet Previz vise à fournir au réalisateur le moyen de prévisualiser les effets spéciaux en temps réel en cours le tournage. Pour ce faire, il est nécessaire d’assurer une cohérence entre le virtuel et le réel, et plus particulièrement d’accorder les intéractions entre les personnages réels et les personnages virtuels. Dans ce cas, il est indispensable, dans le flux vidéo de la caméra du réalisateur, d’une part de séparer le sujet du décor et d’autre part de reconstruire son mouvement. Ce processus est connu pour fonctionner parfaitement en environnement contraint c’est-à-dire en utilisant un fond vert ou au mieux un décor non changeant. Dans ces conditions, on a souvent recours à plusieurs caméras fixes et un éclairage contrôlé pour éviter les brusques variations de luminosités. Nous nous plaçons dans le cas où une seule caméra filme la scène. Nous n’apposons aucune contrainte sur le mouvement de la caméra et il n’est pas connu a priori mais la position de la caméra dans l’environnement est calculée en temps réel. Par ailleurs, les conditions de tournage ne permettent pas de faire un apprentissage a priori du décor. Cela amène deux difficultés. D’une part des éléments du décor peuvent apparaître et disparaître du champ de vision de la caméra et, d’autre part, le décor qui est statique apparaît en mouvement dans la séquence vidéo. Le travail présenté dans ce poster s’attache à séparer l’acteur du décor.

segmentation séquence vidéo, caméra mobile libre

Dans un environnement 3D composé de nuages de points denses, la navigation sans assistance est une tâche plutôt complexe qui décourage les utilisateurs novices. Le but de notre démarche est de proposer un outil automatique d’aide à la navigation virtuelle. Plus précisément, cet outil permettra de guider automatiquement la caméra de façon à générer à la fois des mouvements pertinents et réalistes. On a modélisé ce problème sous la forme d'une tâche principale et de contraintes. La tâche principale décrit la pertinence, formulée sous l’hypothèse que l’utilisateur est toujours attiré par les endroits riches en information visuelle. Cette formulation s’appuie sur la théorie de l’information et plus précisément l’entropie de Shannon afin d’assurer la pertinence du mouvement de la caméra. Par la suite, afin de garantir un mouvement réaliste, deux contraintes ont été ajoutées : l’évitement d’obstacles et la régularisation du mouvement de la caméra. La première contrainte assure un déplacement sécurisé de la caméra dans le modèle 3D, c'est-à-dire sans traverser les obstacles (mur, voûte,…). Tandis que la seconde contrainte basée sur l’utilisation du flot optique permet d’éviter les mouvements saccadés et les sauts brusques de la caméra.
Dans ce travail, on a proposé un mécanisme d’optimisation hiérarchique en deux étapes qui permet de combiner la tâche et les contraintes en un seul problème et de le résoudre. La première étape consiste à déterminer la direction du mouvement à l’aide d’une loi de contrôle hybride. Cette loi de contrôle automatique, basée asservissement visuel virtuel de la caméra va combiner la tâche principale, la maximisation de l’entropie photométrique, avec la première contrainte, l'évitement d’obstacles. Ensuite, dans une seconde étape, une contrainte basée sur le flot optique est ajoutée afin d’ajuster la magnitude du mouvement et de garantir un mouvement dynamiquement pertinent. Dans le but de préserver un mouvement réaliste de la caméra, on a introduit un mécanisme qui permet de commander cinq degrés de liberté opérationnels de la caméra (les trois translations, le « pan » et le « tilt ») afin d’éviter la rotation autour de l’axe optique. Notre approche a été testée en navigation intérieure et extérieure, d'abord sur un modèle 3D simple afin de valider nos critères, puis sur deux modèles 3D très complexes : un environnement urbain et la cathédrale d’Amiens. Les trois modèles 3D précédemment mentionnés sont issus de mesures d'environnements réels par des relevés laser et image.

contrôle de caméra automatique ,asservissement visuel, optimisation.

Le squelette est un descripteur de formes important qui fournit une représentation compacte de la forme étudiée pouvant être utilisée en reconnaissance d’objets réels. Néanmoins, du fait de la discrétisation, les propriétés requises pour construire un graphe (finesse, robustesse au bruit, homotopie, donc par conséquent connexité) peuvent être difficiles à obtenir simultanément. La squelettisation proposée, basée sur la carte de distance, a toutes ces propriétés. Plus précisément, l’algorithme extrait les centres des boules maximales de la forme ainsi que les crêtes de la carte de distance pour les combiner de manière intelligente. Un post-traitement est utilisé pour amincir et élaguer le squelette. Ces différentes étapes se font en temps linéaire. Le squelette ainsi obtenu a été comparé à d’autres squelettes de la littérature et nous avons mis en évidence ses « bonnes » propriétés pour l’appariement de graphes.

Carte de Distance Euclidienne, boules maximales, squelette, détection de points de crêtes, résistance au bruit.

Cet article étudie et compare deux méthodes de segmentation. La première est la segmentation par objet où l’on cherche à détecter des fenêtres à partir d’un modèle. La seconde est la segmentation pixel, où l’on cherche à déterminer à quelle classe appartient chaque pixel. De plus, nous proposons une extension au modèle classique de détection par cascade de HOG en utilisant les sacs de mots visuels. Des expérimentations sur des jeux de données réelles permettront la comparaison et mettront en avant un gain de performance non négligeable de notre méthode.

Segmentation d’images, détection d’objets, sac de mots visuels, HOG

The main goal of this paper is to exploit correlations that may remain in the residual block, after the intra prediction in HEVC. We first show that correlation remains, leading to some high-energy prediction residuals, which we try to remove by exploiting both local and non-local similarity. We propose two strategies to reduce the remaining redundancy in the residual prediction domain: an Intra Residual Prediction (IRP) by template matching, and a Vector Quantization (VQ) of the intra residual.

HEVC, video coding, residual prediction, template matching, vector quantization

L’émotion est une réaction complexe qui engage à la fois le corps et l’esprit. Elle peut être définie comme étant une réaction affective transitoire d’assez grande intensité provoquée par une stimulation venue de l’environnement. L’analyse des expressions corporelles a un rôle important dans le processus de reconnaissance de l’état affectif. Pour cela, nous proposons une approche de reconnaissance émotionnelle combinant deux canaux : le visage et le corps. Notre contribution s’appuie sur l’analyse du mouvement au sein du visage et du haut du corps qui sont synthétisés par des modèles de direction et de magnitude construit à partir des flux optiques. Ces modèles permettent de s’abstraire des bruits de détection à l’aide de l’extraction des caractéristiques principales des mouvements et constituent une base stable pour identifier les évolutions de l’état émotionnel et plus particulièrement de la valence et de l’arousal. Les modalités sont analysées individuellement et sont fusionnées dans un deuxième temps afin d’étudier l’apport informationnel issu de l’étude du mouvement de la personne dans sa globalité. L’approche proposée a ensuite été validée avec succès sur un sous-ensemble de la base de données SEMAINE.

Reconnaissance d’émotions, analyse gestuelle, analyse du mouvement, analyse du visage

La reconnaissance des émotions et des expressions faciales est un challenge intéressant. Dans cet article, une approche permettant la reconnaissance d’expressions faciales spontanées grâce une représentation appropriée des traits du visage sur des flux vidéos et des images statiques est proposée. Une mesure sensible aux changements dans les traits du visage est utilisée dans des régions d’intérêt identifiées pour détecter la présence de chaque émotion. L’expérimentation a été réalisée sur un ensemble de données standard composées de vidéos et d’images statiques et a montré des résultats prometteurs.

Reconnaissance d’expressions faciales spontanées, approche locale, régions d’intérêt

In this paper, we propose a design for novel and experimental cloud computing systems. The proposed system aims at enhancing computational, communicational and annalistic capabilities of road navigation services by merging several independent technologies, namely vision-based embedded navigation systems, prominent cloud computing systems and Vehicular Ad-hoc NETwork (VANET). This work presents our initial investigations by describing the design of a global generic system. The designed system has been experimented with various scenarios of video-based road services. Moreover, the associated architecture has been implemented on a small scale car prototype. The implemented architecture has been experimented in the case of a simulated road service to aid the police agency. The goal of this service is to recognize and track searched individuals and vehicles in a realtime monitoring system remotely connected to moving cars. The presented work demonstrates the potential of our system for efficiently enhancing and diversifying real-time video services in road environments.

Vehicular Network (VANET), Vehicular Cloud Computing (VCC), Image-based Recognition, Fusion of Multi-source Imagery, Real-time Video Services, Cooperative Monitoring System

A discretized rotation is the composition of an Euclidean rotation with a rounding operation. It is well known that not all discretized rotations are bijective : e.g. two distinct points may have the same image by a given discretized rotation. Nevertheless, for a certain subset of rotation angles, the discretized rotations are bijective. In the regular square grid, the bijective discretized rotations have been fully characterized by Nouvel and Rémila (IWCIA’2005). We provide a simple proof that uses the arithmetical properties of Gaussian integers.

discretized rotation, algebraic integer

The notion of well-composedness has been introduced by Latecki in 1995 for 2D sets and images and for 3D sets in 1997. Well-composed binary digital images enjoy important topological properties ; in addition, many algorithms can take advantage from these topological properties. Up to now, well-composedness has not been studied in dimension n, with n > 3. In the presented work, we extend the characterizations of well-composed sets and images to any dimension. We also prove the fundamental theorem of equivalence of the connectivities for a well-composed set.

well-composed

La squelettisation est une opération morphologique qui résume un objet par ses lignes médianes tout en préservant la topologie et la géométrie de l’image initiale. La squelettisation est utilisée dans différents domaines d’application tels que la biométrie comme étant une étape cruciale du processus d’appariement, ainsi que l’imagerie médicale pour la quantification de la micro-architecture de l’os. Dans le contexte d’appariement ou de quantification, il est possible d’exploiter les attributs d’un squelette pour extraire un ensemble de descripteurs structurels d’objets et d’accéder à une analyse haut niveau de l’image.
En effet, l’identification d’une personne grâce à son empreinte digitale ou le réseau veineux de sa main se fait grâce à l’appariement de minuties du squelette, composées de terminaisons de lignes et de bifurcations de crêtes. D’un autre côté, des études en imagerie biomédicale ont montré que les caractéristiques morphométriques de la micro-architecture osseuse constituent un indicateur de la qualité de l’os. La quantification de la microarchitecture de l’os rentre dans le champ d’application du projet ANR Voxelo qui a pour objectif de développer de nouvelles méthodes non invasives pour le diagnostic précoce de l’arthrose du genou. À cet effet, l’extraction du réseau trabéculaire par squelettisation est d’une grande importance pour analyser les paramètres morphologiques significatifs tels que la surface du squelette, le nombre de noeuds, d’extrémités, la longueur et la demi largeur de segments, etc. Notre contribution vise à développer une solution pour l’extraction des attributs d’un squelette binaire ou en niveaux de gris et de les enregistrer sous un format hiérarchique ré-exploitable. Nous proposons de construire un graphe qui stocke les différents attributs d’un squelette d’empreinte ainsi que les paramètres morphométriques de l’os. Étant donné qu’un squelette se compose de segments, de noeuds et d’extrémités, il est judicieux d’utiliser un graphe pour représenter cet objet. La correspondance des segments avec les arêtes, des noeuds et extrémités avec les sommets d’un graphe est naturelle et intuitive. Dans ce travail, la structure de graphe se compose de structures points et segments. La structure point détermine la configuration topologique d’un pixel à partir de l’image du squelette binaire, le classe en crête, noeud ou extrémité et pointe sur ses voisins "objet" afin d’établir le lien entre les différentes composantes du graphe. Quant à la structure segment, elle est composée de points stockés dans une pile, d’une tête et d’une queue pointant sur le noeud ou l’extrémité qui suit, ainsi que d’autres attributs tels que la longueur euclidienne et le niveau de gris moyen. La construction du graphe est possible en identifiant en premier lieu la nature de chaque point et en procédant à un suivi de segment pour établir les liens entre les arêtes et les sommets. Les attributs ainsi trouvés sont finalement stockés dans un fichier CSV.
Cette solution s’applique à des squelettes binaires et en niveaux de gris, elle nous a permis d’évaluer notre méthode de squelettisation en niveaux de gris et d’implanter une procédure d’ébarbulage du squelette suivant le niveau de gris moyen et la longueur des barbules. En effet, d’après nos expérimentations, nous avons noté que la squelettisation en niveaux de gris est souvent sujette à l’apparition de barbules de faible contraste local. Une analyse des attributs extraits du squelette nous permet de déduire la longueur moyenne et le niveau de gris moyen de ces fausses terminaisons. On procède ainsi à un ébarbulage qui cible directement les segments concernés, les supprime et met à jour le fichier d’attributs.

squelette, graphe, attribut, morphologie mathématique

Thin objects in 3D volumes, for instance vascular networks in medical imaging or various kinds of fibres in materials science, have been of interest for some time to computer vision. Particularly, tubular objects are everywhere elongated in one principal direction – which varies spatially – and are thin in the other two perpendicular directions. Filters for detecting such structures use for instance an analysis of the three principal directions of the Hessian, which is a local feature. In this article, we present a low-level tubular structure detection filter. This filter relies on paths, which are semi-global features that avoid any blurring effect induced by scale-space convolution. More precisely, our filter is based on recently developed morphological path operators. These require sampling only in a few principal directions, are robust to noise and do not assume feature regularity. We show that by ranking the directional response of this operator, we are further able to efficiently distinguish between blob, thin planar and tubular structures. We validate this approach on several applications, both from a qualitative and a quantitative point of view, demonstrating an efficient response on tubular structures.

Mathematical Morphology, Non-linear Filtering, Path Operators, Thin Structures, 3D Imaging

L’Arbre des Formes (ToS) est un arbre morphologique qui fournit une représentation hiérarchique de l’image auto-duale et invariante par changement de contraste. De ce fait, il est adapté à de nombreuses applications de traitement d’images. Néanmoins, on se heurte à des problèmes avec l’Arbre des Formes lorsqu’on doit traiter des images couleurs car sa définition tient uniquement en niveaux de gris. Les solutions les plus courantes sont alors d’effectuer un traitement composante par composante (marginal) ou d’imposer un ordre total. Ces solutions ne sont généralement pas satisfaisantes et font survenir des problèmes (des artefacts de couleur, des pertes de propriétés...) Dans cet article, nous insistons sur la nécessité d’une représentation à la fois auto-duale et invariante par changement de contraste et nous proposons une méthode qui construit un Arbre des Formes unique en fusionnant des formes issues des composantes marginales tout en préservant les propriétés intrinsèques de l’arbre. Cette méthode s’affranchit de tout relation d’ordre totale en utilisant uniquement la relation d’inclusion entre les formes et en effectuant une fusion dans l’espace des formes. Finalement, nous montrerons la pertinence de notre méthode et de la structure en les illustrant sur de la simplification d’images et de la segmentation interactive.

Tree of shapes, colors, mathematical morphology