Абстракция как ресурсоэффективная индуктивная предпосылка для непрерывного обучения

Abstraction as a Memory-Efficient Inductive Bias for Continual Learning

March 17, 2026

Авторы: Elnaz Rahmati, Nona Ghazizadeh, Zhivar Sourati, Nina Rouhani, Morteza Dehghani

cs.AI

Аннотация

Реальный мир нестационарен и бесконечно сложен, что требует от интеллектуальных агентов способности к непрерывному обучению без запретительных затрат на переобучение с нуля. Хотя онлайн-непрерывное обучение предлагает основу для таких условий, усвоение новой информации часто конфликтует с ранее полученными знаниями, вызывая катастрофическое забывание и ухудшение обобщающей способности. Для решения этой проблемы мы предлагаем обучение с дополнением абстракцией (AAT) — модификацию функции потерь, побуждающую модели выявлять латентную реляционную структуру, общую для различных примеров. Совместно оптимизируя конкретные экземпляры и их абстрактные представления, AAT вводит эффективную по памяти индуктивную предвзятость, которая стабилизирует обучение в строго онлайн-потоках данных, устраняя необходимость в буфере воспроизведения. Чтобы охватить многогранную природу абстракции, мы представляем и оцениваем AAT на двух тестовых наборах: контролируемом реляционном наборе данных, где абстракция реализована через маскирование сущностей, и нарративном наборе данных, где абстракция выражена через общие пословицы. Наши результаты показывают, что AAT демонстрирует производительность, сравнимую или превосходящую сильные базовые методы с повторением опыта (ER), несмотря на нулевые дополнительные затраты памяти и минимальные изменения целевой функции обучения. Данная работа подчеркивает структурную абстракцию как мощную альтернативу ER, не требующую памяти.

English

The real world is non-stationary and infinitely complex, requiring intelligent agents to learn continually without the prohibitive cost of retraining from scratch. While online continual learning offers a framework for this setting, learning new information often interferes with previously acquired knowledge, causes forgetting and degraded generalization. To address this, we propose Abstraction-Augmented Training (AAT), a loss-level modification encouraging models to capture the latent relational structure shared across examples. By jointly optimizing over concrete instances and their abstract representations, AAT introduces a memory-efficient inductive bias that stabilizes learning in strictly online data streams, eliminating the need for a replay buffer. To capture the multi-faceted nature of abstraction, we introduce and evaluate AAT on two benchmarks: a controlled relational dataset where abstraction is realized through entity masking, and a narrative dataset where abstraction is expressed through shared proverbs. Our results show that AAT achieves performance comparable to or exceeding strong experience replay (ER) baselines, despite requiring zero additional memory and only minimal changes to the training objective. This work highlights structural abstraction as a powerful, memory-free alternative to ER.