L'astrazione come induttore efficiente in memoria per l'apprendimento continuo
Abstraction as a Memory-Efficient Inductive Bias for Continual Learning
March 17, 2026
Autori: Elnaz Rahmati, Nona Ghazizadeh, Zhivar Sourati, Nina Rouhani, Morteza Dehghani
cs.AI
Abstract
Il mondo reale è non stazionario e infinitamente complesso, richiedendo ad agenti intelligenti di apprendere continuamente senza il costo proibitivo del riaddestramento da zero. Sebbene l'apprendimento continuo online offra un framework per questo scenario, l'acquisizione di nuove informazioni interferisce spesso con le conoscenze precedentemente acquisite, causando oblio e degradazione della generalizzazione. Per affrontare questo problema, proponiamo l'Addestramento Aumentato con Astrazione (AAT), una modifica a livello di funzione di perdita che incoraggia i modelli a catturare la struttura relazionale latente condivisa tra gli esempi. Ottimizzando congiuntamente su istanze concrete e loro rappresentazioni astratte, l'AAT introduce un bias induttivo efficiente in memoria che stabilizza l'apprendimento in flussi di dati rigorosamente online, eliminando la necessità di un buffer di replay. Per catturare la natura multiforme dell'astrazione, introduciamo e valutiamo l'AAT su due benchmark: un dataset relazionale controllato dove l'astrazione è realizzata tramite mascheramento di entità, e un dataset narrativo dove l'astrazione è espressa attraverso proverbi condivisi. I nostri risultati mostrano che l'AAT raggiunge prestazioni comparabili o superiori a baseline robuste di experience replay (ER), nonostante richieda zero memoria aggiuntiva e solo modifiche minime all'obiettivo di addestramento. Questo lavoro evidenzia l'astrazione strutturale come una valida alternativa a ER, priva di requisiti di memoria.
English
The real world is non-stationary and infinitely complex, requiring intelligent agents to learn continually without the prohibitive cost of retraining from scratch. While online continual learning offers a framework for this setting, learning new information often interferes with previously acquired knowledge, causes forgetting and degraded generalization. To address this, we propose Abstraction-Augmented Training (AAT), a loss-level modification encouraging models to capture the latent relational structure shared across examples. By jointly optimizing over concrete instances and their abstract representations, AAT introduces a memory-efficient inductive bias that stabilizes learning in strictly online data streams, eliminating the need for a replay buffer. To capture the multi-faceted nature of abstraction, we introduce and evaluate AAT on two benchmarks: a controlled relational dataset where abstraction is realized through entity masking, and a narrative dataset where abstraction is expressed through shared proverbs. Our results show that AAT achieves performance comparable to or exceeding strong experience replay (ER) baselines, despite requiring zero additional memory and only minimal changes to the training objective. This work highlights structural abstraction as a powerful, memory-free alternative to ER.