La manipulation habile d'objets est une tâche essentielle de la robotique. En raison de la complexité de la conception des contrôleurs de robots, même pour des tâches de manipulation simples pour l'homme, par exemple verser une tasse de thé, les robots actuellement utilisés sont principalement limités à des tâches spécifiques dans un environnement connu. Alors que les humains apprennent leur dextérité au fil du temps et manipulent des objets grâce à une coordination main-œil dynamique utilisant un retour visuo-tactile [Johansson&Randall Flanagan2009], la plupart des travaux de recherche récents sur la manipulation robotique sont axés sur les données, principalement basés sur la perception visuelle, pour apprendre un modèle de manipulation unique qui ne peut pas se généraliser lorsque les objets ou les environnements changent [Bohg et al.2014, Mousavian et al.2019].
Dans cette thèse de doctorat, nous visons à apprendre un contrôleur multitâche de robot à usage général pour résoudre des tâches de manipulation conditionnées par des instructions à partir de la vision, par exemple, Pick Object, Pass Object.