Thèse de Luca Veyrin-Forrer


Sujet :
Expliquer les modèles d'apprentissage automatique sur des graphes en identifiant les structures cachées construites par les GNN

Date de soutenance : 30/03/2023

Encadrant : Céline Robardet
Co-encadrant : Marc Plantevit
Co-direction : Stefan Duffner

Résumé :

La dernière décennie a vu une énorme croissance dans le développement de techniques basées sur les réseaux de neurones profonds pour les graphes. Les réseaux de neurones sur graphes (GNNs) se sont avérés les plus efficaces pour de nombreux problèmes d'apprentissage automatique de graphes. Ces modèles puissants sont basés sur l'apprentissage de la représentation des nœuds, ce qui évite la tâche fastidieuse de construction artisanale de descripteurs de graphes. Cependant, le fonctionnement interne des modèles GNN reste opaque, ce qui constitue un obstacle majeur à leur déploiement, soulevant des questions d'acceptabilité sociale et de fiabilité, limites qui peuvent être surmontées par l'explication du fonctionnement interne de tels modèles.

Dans cette thèse, nous étudions le problème de l'explicabilité des GNNs. Notre contribution principale, INSIDE-GNN, vise à extraire les règles d'activation dans les couches cachées du modèle pour comprendre quels descripteurs et caractéristiques de graphes ont été automatiquement extraits des graphes. Le problème n'est pas de découvrir des règles d'activation individuellement très discriminantes pour une classe du modèle, mais le défi consiste à fournir un petit ensemble de règles qui couvrent tous les graphes d'entrée. Nous proposons un domaine de motifs subjectif pour résoudre cette tâche. Nous proposons l'algorithme INSIDE-GNN qui est efficace pour énumérer les règles d'activation dans chaque couche cachée. L'approche proposée pour quantifier l'intérêt de ces règles repose sur la théorie de l'information pour construire un modèle des connaissances apportées par l'ensemble des règles. Les règles d'activation peuvent ensuite être utilisées pour expliquer les décisions du GNN. Les expériences sur des ensembles de données synthétiques et réels montrent des performances très compétitives, avec jusqu'à 200 % d'amélioration de la fidélité sur l'explication du modèle de classification des graphes par rapport aux méthodes de l'état de l'art.

Cependant, les règles d'activation ne sont pas interprétables en elles-mêmes puisqu'elles reposent sur les représentations internes du GNN qui ont un fort impact dans le processus de classification. Elles ne permettent pas d'examiner ce que le GNN capture réellement et à faire la lumière sur les descripteurs cachés construits par le GNN. Nous proposons d'interpréter ces règles en identifiant un graphe entièrement plongé dans le sous-espace associé à chaque règle. La méthode DISCERN que nous avons mise mise au point est basée sur une recherche arborescente de type Monte Carlo dirigée par une mesure de proximité entre le plongement du graphe et la représentation interne de la règle. Les graphes ainsi obtenus sont réalistes et pleinement compréhensibles par l'utilisateur final.


Jury :
Crémilleux BrunoProfesseur(e)Université de CaenRapporteur(e)
Lésot Marie-Jeanne Maître de conférenceSciences Sorbonne UniversitéRapporteur(e)
Galarraga LuisChargé(e) de RechercheINRIAExaminateur​(trice)
Poncelet PascalProfesseur(e)Université de MontpellierExaminateur​(trice)
Solnon ChristineProfesseur(e)INSA LyonPrésident(e)
Robardet CélineProfesseur(e)INSA LyonDirecteur(trice) de thèse
Plantevit MarcProfesseur(e)EpitaCo-directeur (trice)
Duffner StefanMaître de conférenceINSA LyonCo-encadrant(e)