Abstração como um Viés Indutivo Eficiente em Memória para Aprendizado Contínuo
Abstraction as a Memory-Efficient Inductive Bias for Continual Learning
March 17, 2026
Autores: Elnaz Rahmati, Nona Ghazizadeh, Zhivar Sourati, Nina Rouhani, Morteza Dehghani
cs.AI
Resumo
O mundo real é não estacionário e infinitamente complexo, exigindo que agentes inteligentes aprendam continuamente sem o custo proibitivo de retreinamento a partir do zero. Embora a aprendizagem contínua online ofereça uma estrutura para este cenário, a aquisição de novas informações frequentemente interfere no conhecimento previamente adquirido, causando esquecimento e degradação da generalização. Para resolver isso, propomos o Treinamento Aumentado por Abstração (AAT), uma modificação a nível de função de perda que incentiva os modelos a capturar a estrutura relacional latente compartilhada entre exemplos. Ao otimizar conjuntamente instâncias concretas e suas representações abstratas, o AAT introduz um viés indutivo eficiente em memória que estabiliza a aprendizagem em fluxos de dados estritamente online, eliminando a necessidade de um buffer de replay. Para capturar a natureza multifacetada da abstração, introduzimos e avaliamos o AAT em dois benchmarks: um conjunto de dados relacionais controlado onde a abstração é realizada através de mascaramento de entidades, e um conjunto de dados narrativos onde a abstração é expressa através de provérbios compartilhados. Nossos resultados mostram que o AAT alcança um desempenho comparável ou superior às fortes baselines de experiência por replay (ER), apesar de exigir zero memória adicional e apenas alterações mínimas no objetivo de treinamento. Este trabalho destaca a abstração estrutural como uma alternativa poderosa e livre de memória ao ER.
English
The real world is non-stationary and infinitely complex, requiring intelligent agents to learn continually without the prohibitive cost of retraining from scratch. While online continual learning offers a framework for this setting, learning new information often interferes with previously acquired knowledge, causes forgetting and degraded generalization. To address this, we propose Abstraction-Augmented Training (AAT), a loss-level modification encouraging models to capture the latent relational structure shared across examples. By jointly optimizing over concrete instances and their abstract representations, AAT introduces a memory-efficient inductive bias that stabilizes learning in strictly online data streams, eliminating the need for a replay buffer. To capture the multi-faceted nature of abstraction, we introduce and evaluate AAT on two benchmarks: a controlled relational dataset where abstraction is realized through entity masking, and a narrative dataset where abstraction is expressed through shared proverbs. Our results show that AAT achieves performance comparable to or exceeding strong experience replay (ER) baselines, despite requiring zero additional memory and only minimal changes to the training objective. This work highlights structural abstraction as a powerful, memory-free alternative to ER.