連続学習におけるメモリ効率の良い帰納的バイアスとしての抽象化

Abstraction as a Memory-Efficient Inductive Bias for Continual Learning

March 17, 2026

著者: Elnaz Rahmati, Nona Ghazizadeh, Zhivar Sourati, Nina Rouhani, Morteza Dehghani

cs.AI

要旨

現実世界は非定常かつ無限に複雑であるため、知的エージェントはゼロから再学習するという現実的でないコストを伴わずに、継続的に学習する必要がある。オンライン継続学習はこの設定に対する枠組みを提供するが、新しい情報の学習はしばしば既得知識と干渉し、忘却や一般化性能の低下を引き起こす。この問題に対処するため、我々はモデルが事例間で共有される潜在的な関係構造を捕捉するよう促す、損失レベルでの修正手法であるAbstraction-Augmented Training（AAT）を提案する。具体的なインスタンスとその抽象表現を共同で最適化することにより、AATはメモリ効率的な帰納バイアスを導入し、厳密なオンラインデータストリームにおける学習を安定化させ、再生バッファを不要とする。抽象化の多面的な性質を捉えるため、我々は2つのベンチマークを導入しAATを評価する：エンティティマスキングを通じて抽象化が実現される制御された関係データセットと、共有される諺を通じて抽象化が表現される物語データセットである。その結果、AATは追加メモリを全く必要とせず、訓練目的関数への変更も最小限であるにもかかわらず、強力な経験再生（ER）ベースラインに匹敵する、またはそれを上回る性能を達成することを示す。本研究は、構造的抽象化がERに対する強力なメモリフリーの代替手段であることを明らかにする。

English

The real world is non-stationary and infinitely complex, requiring intelligent agents to learn continually without the prohibitive cost of retraining from scratch. While online continual learning offers a framework for this setting, learning new information often interferes with previously acquired knowledge, causes forgetting and degraded generalization. To address this, we propose Abstraction-Augmented Training (AAT), a loss-level modification encouraging models to capture the latent relational structure shared across examples. By jointly optimizing over concrete instances and their abstract representations, AAT introduces a memory-efficient inductive bias that stabilizes learning in strictly online data streams, eliminating the need for a replay buffer. To capture the multi-faceted nature of abstraction, we introduce and evaluate AAT on two benchmarks: a controlled relational dataset where abstraction is realized through entity masking, and a narrative dataset where abstraction is expressed through shared proverbs. Our results show that AAT achieves performance comparable to or exceeding strong experience replay (ER) baselines, despite requiring zero additional memory and only minimal changes to the training objective. This work highlights structural abstraction as a powerful, memory-free alternative to ER.