La Abstracción como Sesgo Inductivo Eficiente en Memoria para el Aprendizaje Continuo
Abstraction as a Memory-Efficient Inductive Bias for Continual Learning
March 17, 2026
Autores: Elnaz Rahmati, Nona Ghazizadeh, Zhivar Sourati, Nina Rouhani, Morteza Dehghani
cs.AI
Resumen
El mundo real es no estacionario e infinitamente complejo, lo que requiere que los agentes inteligentes aprendan continuamente sin el costo prohibitivo de reentrenar desde cero. Si bien el aprendizaje continuo en línea ofrece un marco para este escenario, aprender nueva información a menudo interfiere con el conocimiento adquirido previamente, causando olvido y degradación de la generalización. Para abordar esto, proponemos Entrenamiento Aumentado con Abstracción (AAT), una modificación a nivel de función de pérdida que incentiva a los modelos a capturar la estructura relacional latente compartida entre ejemplos. Al optimizar conjuntamente sobre instancias concretas y sus representaciones abstractas, AAT introduce un sesgo inductivo eficiente en memoria que estabiliza el aprendizaje en flujos de datos estrictamente en línea, eliminando la necesidad de un búfer de repetición. Para capturar la naturaleza multifacética de la abstracción, introducimos y evaluamos AAT en dos benchmarks: un conjunto de datos relacional controlado donde la abstracción se realiza mediante el enmascaramiento de entidades, y un conjunto de datos narrativo donde la abstracción se expresa mediante proverbios compartidos. Nuestros resultados muestran que AAT logra un rendimiento comparable o superior a las líneas base sólidas de repetición de experiencias (ER), a pesar de requerir memoria adicional cero y solo cambios mínimos en el objetivo de entrenamiento. Este trabajo destaca la abstracción estructural como una alternativa poderosa y libre de memoria a ER.
English
The real world is non-stationary and infinitely complex, requiring intelligent agents to learn continually without the prohibitive cost of retraining from scratch. While online continual learning offers a framework for this setting, learning new information often interferes with previously acquired knowledge, causes forgetting and degraded generalization. To address this, we propose Abstraction-Augmented Training (AAT), a loss-level modification encouraging models to capture the latent relational structure shared across examples. By jointly optimizing over concrete instances and their abstract representations, AAT introduces a memory-efficient inductive bias that stabilizes learning in strictly online data streams, eliminating the need for a replay buffer. To capture the multi-faceted nature of abstraction, we introduce and evaluate AAT on two benchmarks: a controlled relational dataset where abstraction is realized through entity masking, and a narrative dataset where abstraction is expressed through shared proverbs. Our results show that AAT achieves performance comparable to or exceeding strong experience replay (ER) baselines, despite requiring zero additional memory and only minimal changes to the training objective. This work highlights structural abstraction as a powerful, memory-free alternative to ER.