La stratégie gagnante proposée par le LIRIS est le résultat d'un travail de recherche commune de l’équipe suivante :

• Natalia Neverova (LIRIS),
• Christian Wolf (LIRIS),
• Graham Taylor (Université de Guelph, Canada),
• Florian Nebout (Awabot).

L'objectif de la compétition est de détecter, de localiser et de reconnaitre les gestes de conversation italienne à partir d’une large base de 13858 gestes. La base multimodale comprend des données vidéo en couleur, des images de profondeur et un flux de pose articulée (squelette).

Cette année, la compétition a attiré près de 200 participants issus de différents pays et de différentes institutions. 17 équipes ont soumis leurs code sources et les prédictions sur la base d’évaluation finale.

Le méthode gagnante proposée par le LIRIS est basée sur une architecture de type deep learning employant une décomposition spatiale en mouvements du corps à grande échelle et en mouvements fins des doigts de la main. L'idée d'apprendre à échelles multiples est également appliquée à la dimension temporelle. La fusion des modalités à plusieurs échelles, nécessitant un nouveau algorithme d’entrainement, à permis d’obtenir une augmentation significative des taux de reconnaissance.

La méthode exacte sera présentée en septembre 2014 au workshop ECCV dédié à cette compétition. Un article de journal est en cours de rédaction.