Face à l'évolution continue des données dans les applications du monde réel, la capacité des systèmes d'intelligence artificielle à apprendre de manière incrémentale tout en préservant les connaissances acquises précédemment est devenue de plus en plus critique. Cependant, le déploiement des méthodes d'apprentissage continu (CL) dans la pratique est entravé par des frontières de tâches floues, un déséquilibre sévère des données, et les fortes exigences computationnelles et les préoccupations liées à la confidentialité des données associées aux grands modèles. Cette thèse aborde ces défis à travers trois contributions principales, améliorant ainsi la faisabilité et la robustesse du CL dans des environnements dynamiques. Premièrement, pour gérer les frontières de tâches floues, où les distributions de données se chevauchent souvent, nous proposons un nouveau scénario d'Apprentissage Incrémental du Changement de Distribution (DS-IL). Dans ce cadre, une approche d'apprentissage guidée par l'entropie exploite efficacement ces chevauchements pour atténuer l'oubli catastrophique sans maintenir de grands tampons de mémoire. Dans les scénarios réels, le déséquilibre des données est un défi commun qui peut entraver significativement la performance des systèmes d'apprentissage. Pour aborder ce problème, notre deuxième contribution introduit une stratégie de Sélection de Mémoire et d'Apprentissage Contrastif (MSCL). En échantillonnant activement des instances représentatives et en les couplant avec des données actuelles dans une perte contrastive, le modèle équilibre mieux les classes et les domaines sous-représentés. Cette approche préserve non seulement des informations historiques cruciales, mais maintient également une performance robuste sous des distributions de données considérablement biaisées. Enfin, pour alléger la charge computationnelle de la formation continue des modèles de diffusion, particulièrement pertinente dans des scénarios avec des contraintes de confidentialité des données ou des coûts de stockage prohibitifs, nous introduisons un cadre de Distillation Générative Adaptative Multi-Mode (MAGD). Utilisant la distillation générative, des représentations intermédiaires bruyantes, et des moyennes mobiles exponentielles, cette méthode permet des mises à jour continues efficaces tout en préservant une haute qualité de génération d'images et de performance de classification. Collectivement, ces contributions forment un cadre complet pour un apprentissage continu évolutif, efficace en mémoire et gérable computationnellement. À travers une rétention de connaissances efficace, une adaptation dynamique à des données déséquilibrées et une relecture générative efficiente en ressources, cette thèse étend l'applicabilité des méthodes de CL à un plus large éventail de paramètres du monde réel.