La tâche « Photo annotation » consiste à annoter automatiquement un grand nombre d’images de consommateurs en utilisant des concepts sémantiques de haut niveau qui peuvent être présents dans les images. En 2012, 94 concepts de haut niveau ont été définis, catégorisés en 5 groupes différents : éléments naturels (day, night, sunrise, etc.), environnement (desert, coast, landscape, etc.), personne (baby, child, teenager, etc.), éléments visuels (in focus, city life, active, etc.), éléments humains (rail vehicle, water vehicle, air vehicle, etc.). Il s’agit d’une tâche extrêmement difficile dans le domaine de la vision par ordinateur et de la reconnaissance de formes en raison des nombreuses variations intra-classe d’objets ou concepts (par exemple différents types de paysages), des similarités inter-concepts (par exemple moto vs vélo) et du fossé sémantique entre les concepts à identifier dans les images et les descripteurs souvent de bas niveau que l’on peut extraire de ces mêmes images dont le rôle est de porter l’information utilisée par l’algorithme pour identifier automatiquement les concepts.

L’équipe Imagine du LIRIS a innové à plusieurs niveaux dans ses soumissions. Elle a proposé de nouveaux descripteurs visuels (OC-LBP, dynamisme et harmonie de couleurs, …), de nouveaux descripteurs textuels HTC (Histogram of Textual Concepts) qui permettent de prendre en compte la similarité sémantique entre les concepts, ainsi qu’un nouveau schéma de fusion SWLF (Selective Weighted Late Fusion) qui permet de caractériser chaque concept de haut niveau par un ensemble spécifique de descripteurs et de pondérer, à travers un apprentissage, l’influence de ces descripteurs en fonction de leur aptitude à caractériser chacun des concepts à identifier. L’article détaillant la méthode du LIRIS peut être obtenu sur le site de la compétition à l’adresse suivante :

http://www.clef-initiative.eu/documents/71612/60637cac-7c0e-4f59-a45d-37637f0f37cd

Une analyse des résultats est fournie dans le rapport de synthèse rédigé par les organisateurs de la compétition disponible à l’adresse suivante : http://www.clef-initiative.eu/documents/71612/ec10fe5c-92e7-4217-b6fa-24ad439df1ba

18 équipes internationales ont participé avec 80 soumissions (chaque équipe pouvant faire au plus 5 soumissions différentes). Trois critères d’évaluation ont été utilisés pour comparer les méthodes, dont la précision moyenne MiAP. La soumission multimodale du LIRIS, qui associe des descripteurs visuels et textuels au schéma de fusion SWLF, a réalisé la meilleure performance parmi l’ensemble des 80 soumissions selon les trois critères d’évaluation (voir la section 6.2, table 3). Parmi les approches purement textuelles, le LIRIS apparaît également en 1ère position pour les trois critères (table 4), et parmi les approches purement visuelles, le LIRIS apparaît en 1ère position pour deux des trois critères d'évaluation (table 5).

 Les participants du LIRIS à cette compétition sont  Ningning Liu, Emmanuel Dellandréa, Liming Chen, Aliaksandr Trus, Chao Zhu, Yu Zhang, Charles-Edmond Bichot, Stéphane Brès et Bruno Tellez. Les supports techniques et administratifs ont été Colette Vial, Isabelle Dominique et Aliaksandr Paradzinets (Ghanni). Les participation du LIRIS au challenge  ImageCLEF en 2011 et 2012 ont été soutenues en partie par le projet ANR VideoSense à travers la convention 2009 CORD 026 02.