Thèse de Simon Forest


Sujet :
Topologies en perception multimodale neuro-inspirée: apprentissage, fusion, prise de décision

Date de soutenance : 16/09/2022

Encadrant : Salima Hassas
Co-encadrant : Mathieu Lefort

Résumé :

Cette thèse porte sur la fusion multimodale sur des topologies artificielles dans un contexte de perception active. À titre d'exemple, les humains reçoivent des informations denses provenant de multiples capteurs et utilisent divers mécanismes pour sélectionner et se concentrer sur les signaux pertinents uniquement, par exemple en déplaçant le regard vers un objet pour mieux le voir. En raison des irrégularités dans les topologies sensorielles (cf. fovéa), les actions peuvent améliorer la perception, tandis que l'extraction et la fusion de données aident également à choisir le meilleur plan d'action. Les systèmes artificiels, par exemple les robots sociaux, font face à des besoins similaires, malgré un ensemble de contraintes physiques qui leur est propre. Cette thèse propose des modèles computationnels pour l'IA, en s'inspirant d'études de cas en neurosciences comme le colliculus supérieur, une structure sous-corticale impliquée dans la génération de saccades vers des stimuli visuels, auditifs ou multisensoriels.

Pour sélectionner des informations à partir de signaux multiples dans un contexte dynamique et multimodal, il faut trouver un moyen de générer des décisions fiables et robustes. La prise de décision en général a été abordée à la fois en psychophysique et en robotique, via de nombreux algorithmes différents. Une des contributions de cette thèse est de passer en revue et comparer ces algorithmes, en soulignant leurs propriétés spatio-temporelles, y compris la fusion, l'attention sélective, la mémoire, etc. Parmi ces modèles, les champs neuronaux dynamiques (DNF) présentent des caractéristiques très intéressantes, notamment l'attention et la fusion de données en fonction de la distance et de la précision des stimuli. Dans une autre contribution, cette thèse utilise ensuite le DNF comme un outil de filtrage et de fusion de signaux appliqué à la fusion multimodale. Cette thèse montre comment il peut s'appliquer pour modéliser de manière réaliste des occurrences de l'effet ventriloque, un effet psychophysique de capture de localisation de stimuli audio/visuels. Puis, afin d'étudier plus en détail le rôle des topologies sur ces tâches cognitives, une dernière contribution montre que les DNF conservent leurs propriétés dans des cartes topologiques irrégulières apprises artificiellement. Dans cette expérience, les topologies sont apprises via un gaz neuronal croissant afin d'extraire les dimensions intrinsèques de l'espace sensoriel, mais de nouvelles perspectives, avec des modèles plus profonds, sont suggérées pour une application dans la perception active et la cognition incarnée.


Jury :
Mme Estela BichoProfesseur(e)Centre Algoritmi, University of Minho, PortugalRapporteur(e)
Mme Salima HassasProfesseur(e)LIRIS, UCBLDirecteur(trice) de thèse
Mme Stéphanie Jean-DaubiasProfesseur(e)LIRIS, UCBLExaminateur​(trice)
M. Mathieu LefortMaître de conférenceLIRIS, UCBLCo-encadrant(e)
M. Jean-Charles QuintonMaître de conférenceLaboratoire Jean Kuntzmann, Univ. Grenoble AlpesCo-encadrant(e)
Mme Marieke RohdeDocteurInstitute for Innovation and Technology, GermanyExaminateur​(trice)
M. Denis SheynikhovichMaître de conférenceInstitut de la Vision, Sorbonne UniversitéRapporteur(e)
M. Jochen TrieschProfesseur(e)Frankfurt Institute for Advanced Studies, Goethe University, GermanyExaminateur​(trice)
M. Alban LaflaquièreDocteurSony AIInvité(e)