Séminaire SILEX : Analyse automatique de film - Des séquences d'images aux séquences d'actions

Je décris d’abord une série de travaux réalisés dans le cadre du groupe
MPEG et des projets DIVAN à l’INA (1998-2000), puis VIBES à l’INRIA
(2001-2004), et qui visent à aborder l’indexation video à travers la
reconnaissance des styles et conventions de la prise de vues et du
montage. Cette première partie est illustrée par deux applications – le
découpage d’un journal télévisé en sujets, et l’indexation d’un film de
cinéma par son script.

Je présente ensuite des travaux réalisés à l’INRIA en 2005-2008 au sein
de l’équipe MOVI. Je montre comment nous avons utilisé l’infrastructure
GRIMAGE pour (1) apprendre des modèles statistiques 3D d’un petit
répertoire d’actions humaines permettant de les reconnaitre lorsqu’elles
sont exécutées par d’autres acteurs, sous d’autres points de vue ; (2)
découper une séquence d’images 3D en actions primitives reconnaissables;
et (3) reconnaître ces mêmes actions selon le point de vue d’une seule
caméra.

Enfin, je propose quelques pistes pour étendre les résultats précédents
afin d’aborder simultanément les deux problèmes de la reconnaissance des
actions et des styles de mise en scène dans les films. Je présente les
avantages et les difficultés d’une approche unifiée de ces deux
problèmes, ainsi que des applications possibles dans les domaines de la
fiction interactive, du jeu vidéo et du machinima.

============================================================
Computational Film Analysis - From image sequences to action sequences.

*Abstract.* I review my research activities in Video Indexing and Action
Recognition and sketch a research agenda for bringing those two lines of
research together to address the difficult problem of recognizing
actions in movies.

I first present a series of older projects in Video Indexing, starting
with the DIVAN project at INA and the MPEG expert group (1998-2000), and
continuing at INRIA under the VIBES project (2001-2004). This research
falls under the general approach of “computational media aesthetics”,
where we attempt to recognize film events based on our knowledge of
filming styles and conventions (cinematography and editing). This is
illustrated with two applications – the automatic segmentation of TV
news into topics; and the automatic indexing of movies with their scripts.

I then present my more recent research in Action Recognition with the
MOVI group at INRIA (2005-2008). Building upon the GRIMAGE
infrastructure, I present experiments in (1) learning and recognizing a
small repertoire of full body gestures in 3D using “motion history
volumes”; (2) segmenting a raw stream of 3D image sequences into
recognizable “primitive actions” ; and (3) using statistical models
learned in 3D for recovering primitive actions and relative camera
positions from a single 2D video recording of similar actions.

Finally, I propose a road map for reconciling those two research topics,
by simultaneously learning statistical models of human action and
filming styles from large collections of annotated movies. I illustrate
this new research agenda with novel applications in interactive
storytelling, video games and machinima.