지속 학습을 위한 메모리 효율적 귀납적 편향으로서의 추상화

Abstraction as a Memory-Efficient Inductive Bias for Continual Learning

March 17, 2026

저자: Elnaz Rahmati, Nona Ghazizadeh, Zhivar Sourati, Nina Rouhani, Morteza Dehghani

cs.AI

초록

실제 세계는 비정적이며 무한히 복잡하기 때문에 지능형 에이전트는 처음부터 재학습하는 막대한 비용 없이 지속적으로 학습해야 합니다. 온라인 지속 학습이 이러한 환경을 위한 프레임워크를 제공하지만, 새로운 정보를 학습하면 종종 이전에 습득한 지식과 간섭을 일으켜 망각과 일반화 성능 저하를 초래합니다. 이를 해결하기 위해 우리는 모델이 예제들 간에 공유되는 잠재적 관계 구조를 포착하도록 유도하는 손실 수준 수정 기법인 추상화 증강 학습(AAT)을 제안합니다. 구체적인 인스턴스와 그 추상 표현을 함께 최적화함으로써, AAT는 재생 버퍼 없이도 엄격한 온라인 데이터 스트림에서 학습을 안정화하는 메모리 효율적인 귀납적 편향을 도입합니다. 추상화의 다면적 특성을 포착하기 위해 우리는 통제된 관계 데이터셋(추상화를 개체 마스킹으로 구현)과 서사 데이터셋(추상화를 공유 속담으로 표현) 두 벤치마크에서 AAT를 소개하고 평가합니다. 우리의 실험 결과는 AAT가 추가 메모리가 전혀 필요하지 않고 훈련 목적함수에 최소한의 변경만 가함에도 강력한 경험 재생(ER) 기준선과 견줄 만하거나 그보다 우수한 성능을 달성함을 보여줍니다. 본 연구는 구조적 추상화가 ER의 강력한 메모리 무료 대안임을 입증합니다.

English

The real world is non-stationary and infinitely complex, requiring intelligent agents to learn continually without the prohibitive cost of retraining from scratch. While online continual learning offers a framework for this setting, learning new information often interferes with previously acquired knowledge, causes forgetting and degraded generalization. To address this, we propose Abstraction-Augmented Training (AAT), a loss-level modification encouraging models to capture the latent relational structure shared across examples. By jointly optimizing over concrete instances and their abstract representations, AAT introduces a memory-efficient inductive bias that stabilizes learning in strictly online data streams, eliminating the need for a replay buffer. To capture the multi-faceted nature of abstraction, we introduce and evaluate AAT on two benchmarks: a controlled relational dataset where abstraction is realized through entity masking, and a narrative dataset where abstraction is expressed through shared proverbs. Our results show that AAT achieves performance comparable to or exceeding strong experience replay (ER) baselines, despite requiring zero additional memory and only minimal changes to the training objective. This work highlights structural abstraction as a powerful, memory-free alternative to ER.