Abstractie als een geheugenefficiënte inductieve bias voor continu leren
Abstraction as a Memory-Efficient Inductive Bias for Continual Learning
March 17, 2026
Auteurs: Elnaz Rahmati, Nona Ghazizadeh, Zhivar Sourati, Nina Rouhani, Morteza Dehghani
cs.AI
Samenvatting
De echte wereld is niet-stationair en oneindig complex, waardoor intelligente agenten continu moeten leren zonder de buitensporige kosten van hertraining vanaf nul. Hoewel online continu leren een raamwerk biedt voor deze setting, interfereert het leren van nieuwe informatie vaak met eerder verworven kennis, wat leidt tot vergeten en verminderde generalisatie. Om dit aan te pakken, stellen we Abstractie-augmented Training (AAT) voor, een aanpassing op verliesfunctieniveau die modellen aanmoedigt om de latente relationele structuur te vangen die voorbeelden gemeen hebben. Door gezamenlijk te optimaliseren over concrete instanties en hun abstracte representaties, introduceert AAT een geheugenefficiënte inductieve bias die het leren stabiliseert in strikt online datastromen, waardoor een replay-buffer overbodig wordt. Om de veelzijdige aard van abstractie te vangen, introduceren en evalueren we AAT op twee benchmarks: een gecontroleerde relationele dataset waar abstractie wordt gerealiseerd door entiteitsmaskering, en een narratieve dataset waar abstractie wordt uitgedrukt door gedeelde spreekwoorden. Onze resultaten tonen aan dat AAT prestaties bereikt die vergelijkbaar zijn met of sterker zijn dan sterke experience replay (ER) baseline-methoden, ondanks dat het nul extra geheugen vereist en slechts minimale wijzigingen aan het trainingsdoel. Dit werk benadrukt structurele abstractie als een krachtig, geheugenvrij alternatief voor ER.
English
The real world is non-stationary and infinitely complex, requiring intelligent agents to learn continually without the prohibitive cost of retraining from scratch. While online continual learning offers a framework for this setting, learning new information often interferes with previously acquired knowledge, causes forgetting and degraded generalization. To address this, we propose Abstraction-Augmented Training (AAT), a loss-level modification encouraging models to capture the latent relational structure shared across examples. By jointly optimizing over concrete instances and their abstract representations, AAT introduces a memory-efficient inductive bias that stabilizes learning in strictly online data streams, eliminating the need for a replay buffer. To capture the multi-faceted nature of abstraction, we introduce and evaluate AAT on two benchmarks: a controlled relational dataset where abstraction is realized through entity masking, and a narrative dataset where abstraction is expressed through shared proverbs. Our results show that AAT achieves performance comparable to or exceeding strong experience replay (ER) baselines, despite requiring zero additional memory and only minimal changes to the training objective. This work highlights structural abstraction as a powerful, memory-free alternative to ER.