Ce travail étudie la classification dans des cadres complexes à partir de vecteurs issus de l’apprentissage automatique, en particulier les sorties de modèles et les gradients. Il se divise en deux parties : la première porte sur les matrices de confusion, afin de caractériser le comportement des modèles à partir de leurs prédictions ; la seconde concerne l’apprentissage fédéré robuste, où l’objectif est de défendre un système distribué à partir des mises à jour locales.

La matrice de confusion est un outil essentiel pour analyser les erreurs d’un modèle au niveau des classes. Contrairement aux métriques scalaires telles que l’accuracy, elle fournit une description détaillée du comportement du modèle à partir de paires étiquette–prédiction. Cependant, dans les cadres hétérogènes, où les distributions d’étiquettes sont déséquilibrées, ses entrées sont biaisées et peuvent masquer les similarités réelles entre classes. De plus, les cadres multi-labels et à soft-labels capturent mieux la complexité des données réelles, mais la généralisation de la matrice de confusion à ces contextes reste non triviale.

Plusieurs généralisations ont ainsi été proposées. Elles sont généralement analysées sur des jeux de données de référence, soit pour interpréter le comportement des modèles, soit pour être comparées qualitativement à d’autres formulations. Toutefois, ces comparaisons manquent d’un critère quantitatif clair, ce qui rend difficile le choix d’une méthode en pratique. De plus, aucune approche existante ne fournit une formulation unifiée pour les cadres mono-label, multi-labels et à soft-labels.

Nos principales contributions dans ce domaine sont :

- proposer une nouvelle normalisation de la matrice de confusion afin de mieux retrouver les similarités inter-classes dans les contextes hétérogènes ;
- établir des liens entre normalisation, importance sampling et représentations latentes des classes ;
- introduire une généralisation fondée sur le transport optimal, couvrant les cadres multi-labels et à soft-labels tout en unifiant plusieurs approches existantes ;
- proposer un cadre expérimental pour évaluer si ces extensions retrouvent correctement la confusion réelle du modèle.

La seconde partie porte sur l’apprentissage fédéré robuste. Dans ce cadre, plusieurs clients entraînent collectivement un modèle sans partager leurs données. À chaque round, chaque client calcule une mise à jour locale, par exemple un gradient, que le serveur agrège avant de renvoyer le modèle actualisé aux clients.

Des clients défaillants ou malveillants, dits byzantins, peuvent perturber l’apprentissage. Les méthodes robustes cherchent souvent à écarter les gradients atypiques, en supposant que les gradients byzantins s’écartent davantage des gradients honnêtes que les gradients honnêtes ne s’écartent entre eux. Cependant, l’hétérogénéité des données, notamment le déséquilibre de labels entre clients, peut aussi désaligner les mises à jour honnêtes. Ces dernières peuvent alors être perçues comme des valeurs aberrantes, ce qui affaiblit les stratégies de défense classiques.

Nos principales contributions dans ce domaine sont :

- introduire une défense légère, fondée sur l’échantillonnage local, ne nécessitant pas de données de validation ;
- proposer un filtre byzantin sans données de validation, reposant sur l’observation que les mises à jour honnêtes se situent dans l’enveloppe convexe des gradients propres à chaque classe.