Abstraktion als speichereffiziente induktive Verzerrung für kontinuierliches Lernen
Abstraction as a Memory-Efficient Inductive Bias for Continual Learning
March 17, 2026
Autoren: Elnaz Rahmati, Nona Ghazizadeh, Zhivar Sourati, Nina Rouhani, Morteza Dehghani
cs.AI
Zusammenfassung
Die reale Welt ist nicht-stationär und unendlich komplex, was von intelligenten Agenten verlangt, kontinuierlich zu lernen, ohne die prohibitiv hohen Kosten einer Neuanfangsschulung. Während Online-Continual-Learning einen Rahmen für diese Umgebung bietet, interferiert das Lernen neuer Informationen oft mit zuvor erworbenem Wissen, was zu Vergessen und verschlechterter Generalisierung führt. Um dies zu adressieren, schlagen wir Abstraktions-Augmentiertes Training (AAT) vor, eine modifizierte Loss-Funktion, die Modelle dazu anregt, die latente relationale Struktur zu erfassen, die Beispielen gemeinsam ist. Durch gemeinsame Optimierung konkreter Instanzen und ihrer abstrakten Repräsentationen führt AAT einen speichereffizienten induktiven Bias ein, der das Lernen in strengen Online-Datenströmen stabilisiert und die Notwendigkeit eines Replay-Buffers eliminiert. Um die vielschichtige Natur der Abstraktion zu erfassen, führen wir AAT auf zwei Benchmarks ein und evaluieren es: einen kontrollierten relationalen Datensatz, bei dem Abstraktion durch Maskierung von Entitäten realisiert wird, und einen narrativen Datensatz, bei dem Abstraktion durch gemeinsame Sprichwörter ausgedrückt wird. Unsere Ergebnisse zeigen, dass AAT eine Leistung erzielt, die mit starken Experience-Replay(ER)-Baselines vergleichbar oder dieser überlegen ist, obwohl es keinen zusätzlichen Speicherbedarf hat und nur minimale Änderungen am Trainingsziel erfordert. Diese Arbeit unterstreicht strukturelle Abstraktion als leistungsstarke, speicherfreie Alternative zu ER.
English
The real world is non-stationary and infinitely complex, requiring intelligent agents to learn continually without the prohibitive cost of retraining from scratch. While online continual learning offers a framework for this setting, learning new information often interferes with previously acquired knowledge, causes forgetting and degraded generalization. To address this, we propose Abstraction-Augmented Training (AAT), a loss-level modification encouraging models to capture the latent relational structure shared across examples. By jointly optimizing over concrete instances and their abstract representations, AAT introduces a memory-efficient inductive bias that stabilizes learning in strictly online data streams, eliminating the need for a replay buffer. To capture the multi-faceted nature of abstraction, we introduce and evaluate AAT on two benchmarks: a controlled relational dataset where abstraction is realized through entity masking, and a narrative dataset where abstraction is expressed through shared proverbs. Our results show that AAT achieves performance comparable to or exceeding strong experience replay (ER) baselines, despite requiring zero additional memory and only minimal changes to the training objective. This work highlights structural abstraction as a powerful, memory-free alternative to ER.