Au cours de ces dernières années, l'Intelligence Artificielle s'est immiscée dans notre vie de tous. Cependant, pour apprendre un processus de décision, l'IA doit ingérer une énorme quantité de données, ce qui rend les motifs de ces décisions obscures. Cela a eu pour conséquence, la naissance du champ de recherche d'IA eXplicable (XAI), qui a pour but d'analyser ces modèles, et mettre en lumière leurs facultés de raisonnement et d'exploitation de biais. Cette thèse est dédiée à la création d'outils d'analyse visuelle créés pour permettre aux experts de ces modèles de pouvoir interpréter leurs décisions, et ainsi les améliorer. Cette thèse se concentre plus particulièrement sur trois types de tâches et modèles : premièrement la réponse à des questions en langage naturel à propos d’images avec des transformers; deuxièmement, la navigation automatique dans un environnement avec de l’apprentissage par renforcement profond, et enfin, la localisation de soi avec des modèles de régression convolutionnel. Tous ces outils de visualisation sont open-source, et des prototypes sont disponibles en ligne (e.g. https://visqa.liris.cnrs.fr/).