Les progrès rapides des modèles génératifs ont permis la création d’images et de vidéos faciales synthétiques de plus en plus réalistes, soulevant d’importantes préoccupations concernant l’authenticité et la fiabilité des contenus numériques. Parmi ces technologies, les deepfakes faciaux représentent une forme de manipulation particulièrement complexe en raison de leur impact potentiel sur la désinformation, la fraude à l’identité et la tromperie numérique. Bien que les méthodes de détection basées sur l’apprentissage profond aient atteint des performances remarquables dans des contextes d’évaluation intra-distribution, leurs capacités de généralisation restent limitées, avec une dégradation significative des performances lorsque les modèles sont évalués sur des techniques de manipulation, des jeux de données ou des pipelines de génération inconnus.

Cette thèse étudie comment améliorer la robustesse des systèmes de détection de deepfakes faciaux dans des scénarios de généralisation difficiles. Pour répondre à cette problématique, ce travail étudie le rôle de différentes représentations visuelles, incluant l’apparence spatiale, les dynamiques temporelles et les informations fréquentielles, et examine comment celles-ci peuvent être efficacement intégrées au sein d’architectures modernes d’apprentissage profond.

Les travaux menés dans cette thèse suivent une investigation progressive de la robustesse des systèmes de détection de deepfakes. Dans un premier temps, les limites des détecteurs conventionnels basés sur des réseaux de neurones convolutifs sont analysées au travers d’une évaluation inter-jeux de données, montrant que de bonnes performances intra-jeu de données ne se traduisent pas nécessairement par des performances fiables sur différents jeux de données et méthodes de manipulation. Dans un second temps, le potentiel des informations haute fréquence est étudié à travers une approche légère basée sur un filtrage permettant d’extraire des résidus de bruit liés aux manipulations. Ces expériences montrent que les informations fréquentielles fournissent des éléments complémentaires précieux, tout en soulignant les limites d’une approche reposant sur un unique domaine de représentation.

En se basant sur ces observations, deux architectures spatio-temporelles unifiées sont ensuite proposées. La première approche combine des informations RGB, des représentations fréquentielles basées sur les ondelettes et une modélisation temporelle fondée sur les Vision Transformers afin d’exploiter des indices visuels complémentaires au sein de séquences vidéo faciales. La seconde approche approfondit cette direction à travers une architecture unifiée qui modélise conjointement les dépendances spatiales et temporelles, tout en intégrant également des informations fréquentielles au moyen d’une branche dédiée basée sur les ondelettes. Les deux architectures sont évaluées dans des scénarios inter-jeux de données complexes afin d’évaluer leur robustesse face à des manipulations inconnues. La seconde architecture est également évaluée à l’aide d’un cadre d’évaluation standardisé permettant une comparaison approfondie avec les approches existantes, démontrant les bénéfices de la combinaison de plusieurs sources d’information tout en atteignant des performances compétitives par rapport aux méthodes de l’état de l’art à un coût computationnel modéré.