Selbstdistillation ermöglicht kontinuierliches Lernen.
Self-Distillation Enables Continual Learning
January 27, 2026
papers.authors: Idan Shenfeld, Mehul Damani, Jonas Hübotter, Pulkit Agrawal
cs.AI
papers.abstract
Continual Learning, also bekannt als kontinuierliches Lernen, das Modellen ermöglicht, neue Fähigkeiten und Wissen zu erwerben, ohne bestehende Fähigkeiten zu beeinträchtigen, bleibt eine grundlegende Herausforderung für Foundation Models. Während on-policy Reinforcement Learning das Vergessen reduzieren kann, erfordert es explizite Belohnungsfunktionen, die oft nicht verfügbar sind. Das Lernen anhand von Experten-Demonstrationen, die primäre Alternative, wird von Supervised Fine-Tuning (SFT) dominiert, das inhärent off-policy ist. Wir stellen Self-Distillation Fine-Tuning (SDFT) vor, eine einfache Methode, die on-policy Lernen direkt aus Demonstrationen ermöglicht. SDFT nutzt In-Context-Learning, indem ein demonstrationskonditioniertes Modell als sein eigener Lehrer fungiert und on-policy Trainingssignale erzeugt, die bestehende Fähigkeiten bewahren, während neue Fertigkeiten erworben werden. In Aufgaben zum Erlernen von Fertigkeiten und zur Wissensakquisition übertrifft SDFT durchgängig SFT, erreicht eine höhere Genauigkeit bei neuen Aufgaben und reduziert katastrophales Vergessen erheblich. In sequenziellen Lernexperimenten ermöglicht SDFT einem einzelnen Modell, über die Zeit mehrere Fähigkeiten anzuhäufen ohne Leistungseinbußen, und etabliert on-policy Distillation als einen praktischen Weg für kontinuierliches Lernen aus Demonstrationen.
English
Continual learning, enabling models to acquire new skills and knowledge without degrading existing capabilities, remains a fundamental challenge for foundation models. While on-policy reinforcement learning can reduce forgetting, it requires explicit reward functions that are often unavailable. Learning from expert demonstrations, the primary alternative, is dominated by supervised fine-tuning (SFT), which is inherently off-policy. We introduce Self-Distillation Fine-Tuning (SDFT), a simple method that enables on-policy learning directly from demonstrations. SDFT leverages in-context learning by using a demonstration-conditioned model as its own teacher, generating on-policy training signals that preserve prior capabilities while acquiring new skills. Across skill learning and knowledge acquisition tasks, SDFT consistently outperforms SFT, achieving higher new-task accuracy while substantially reducing catastrophic forgetting. In sequential learning experiments, SDFT enables a single model to accumulate multiple skills over time without performance regression, establishing on-policy distillation as a practical path to continual learning from demonstrations.