L'abstraction comme biais inductif économe en mémoire pour l'apprentissage continu
Abstraction as a Memory-Efficient Inductive Bias for Continual Learning
March 17, 2026
Auteurs: Elnaz Rahmati, Nona Ghazizadeh, Zhivar Sourati, Nina Rouhani, Morteza Dehghani
cs.AI
Résumé
Le monde réel est non stationnaire et infiniment complexe, ce qui exige des agents intelligents qu'ils apprennent continuellement sans supporter le coût prohibitif d'un réapprentissage à partir de zéro. Bien que l'apprentissage continu en ligne offre un cadre pour ce contexte, l'acquisition de nouvelles informations interfère souvent avec les connaissances précédemment acquises, entraînant un oubli et une dégradation de la généralisation. Pour remédier à cela, nous proposons l'Entraînement Augmenté par l'Abstraction (AAT), une modification au niveau de la fonction de perte qui encourage les modèles à capturer la structure relationnelle latente partagée entre les exemples. En optimisant conjointement les instances concrètes et leurs représentations abstraites, l'AAT introduit un biais inductif économe en mémoire qui stabilise l'apprentissage dans des flux de données strictement en ligne, éliminant ainsi le besoin d'un tampon de rejeu. Pour capturer la nature multidimensionnelle de l'abstraction, nous introduisons et évaluons l'AAT sur deux benchmarks : un jeu de données relationnelles contrôlées où l'abstraction est réalisée par un masquage d'entités, et un jeu de données narratives où l'abstraction s'exprime par des proverbes partagés. Nos résultats montrent que l'AAT atteint des performances comparables ou supérieures à celles de fortes bases de rejeu d'expériences (ER), et ce, sans nécessiter de mémoire supplémentaire et avec seulement des modifications minimales de l'objectif d'entraînement. Ce travail met en lumière l'abstraction structurelle comme une alternative puissante et sans mémoire au rejeu d'expériences.
English
The real world is non-stationary and infinitely complex, requiring intelligent agents to learn continually without the prohibitive cost of retraining from scratch. While online continual learning offers a framework for this setting, learning new information often interferes with previously acquired knowledge, causes forgetting and degraded generalization. To address this, we propose Abstraction-Augmented Training (AAT), a loss-level modification encouraging models to capture the latent relational structure shared across examples. By jointly optimizing over concrete instances and their abstract representations, AAT introduces a memory-efficient inductive bias that stabilizes learning in strictly online data streams, eliminating the need for a replay buffer. To capture the multi-faceted nature of abstraction, we introduce and evaluate AAT on two benchmarks: a controlled relational dataset where abstraction is realized through entity masking, and a narrative dataset where abstraction is expressed through shared proverbs. Our results show that AAT achieves performance comparable to or exceeding strong experience replay (ER) baselines, despite requiring zero additional memory and only minimal changes to the training objective. This work highlights structural abstraction as a powerful, memory-free alternative to ER.