Zelfdistillatie maakt continu leren mogelijk

Self-Distillation Enables Continual Learning

January 27, 2026

Auteurs: Idan Shenfeld, Mehul Damani, Jonas Hübotter, Pulkit Agrawal

cs.AI

Samenvatting

Doorlopend leren, waarbij modellen nieuwe vaardigheden en kennis kunnen verwerven zonder bestaande capaciteiten te verslechteren, blijft een fundamentele uitdaging voor foundation-modellen. Hoewel on-policy reinforcement learning vergeten kan verminderen, vereist het expliciete beloningsfuncties die vaak niet beschikbaar zijn. Leren van expertdemonstraties, het primaire alternatief, wordt gedomineerd door supervised fine-tuning (SFT), dat inherent off-policy is. Wij introduceren Self-Distillation Fine-Tuning (SDFT), een eenvoudige methode die on-policy leren rechtstreeks vanuit demonstraties mogelijk maakt. SDFT benut in-context learning door een demonstratie-geconditioneerd model als zijn eigen leraar te gebruiken, waarbij het on-policy trainingssignalen genereert die bestaande capaciteiten behouden terwijl nieuwe vaardigheden worden verworven. In taken voor vaardigheidsleren en kennisverwerving presteert SDFT consistent beter dan SFT, met hogere nauwkeurigheid voor nieuwe taken en aanzienlijk minder catastrofaal vergeten. In sequentiële leer experimenten stelt SDFT een enkel model in staat om meerdere vaardigheden over tijd op te bouwen zonder prestatieverlies, waarmee on-policy distillatie wordt gevestigd als een praktisch pad voor doorlopend leren vanuit demonstraties.

English

Continual learning, enabling models to acquire new skills and knowledge without degrading existing capabilities, remains a fundamental challenge for foundation models. While on-policy reinforcement learning can reduce forgetting, it requires explicit reward functions that are often unavailable. Learning from expert demonstrations, the primary alternative, is dominated by supervised fine-tuning (SFT), which is inherently off-policy. We introduce Self-Distillation Fine-Tuning (SDFT), a simple method that enables on-policy learning directly from demonstrations. SDFT leverages in-context learning by using a demonstration-conditioned model as its own teacher, generating on-policy training signals that preserve prior capabilities while acquiring new skills. Across skill learning and knowledge acquisition tasks, SDFT consistently outperforms SFT, achieving higher new-task accuracy while substantially reducing catastrophic forgetting. In sequential learning experiments, SDFT enables a single model to accumulate multiple skills over time without performance regression, establishing on-policy distillation as a practical path to continual learning from demonstrations.