Verschachteltes Lernen: Die Illusion tiefer Lernarchitekturen

Nested Learning: The Illusion of Deep Learning Architectures

December 31, 2025

papers.authors: Ali Behrouz, Meisam Razaviyayn, Peilin Zhong, Vahab Mirrokni

cs.AI

papers.abstract

Trotz der jüngsten Fortschritte, insbesondere bei der Entwicklung von Sprachmodellen, bestehen grundlegende Herausforderungen und unbeantwortete Fragen darüber, wie solche Modelle kontinuierlich lernen/sich erinnern, sich selbst verbessern und effektive Lösungen finden können. In diesem Artikel stellen wir ein neues Lernparadigma vor, genannt Nested Learning (NL), das ein maschinelles Lernmodell kohärent als eine Menge von verschachtelten, mehrstufigen und/oder parallelen Optimierungsproblemen darstellt, von denen jedes seinen eigenen Kontextfluss besitzt. Durch die Brille von NL betrachtet, lernen bestehende Deep-Learning-Methoden aus Daten, indem sie ihren eigenen Kontextfluss komprimieren, und In-Context-Learning entsteht natürlich in großen Modellen. NL legt eine Philosophie nahe, um ausdrucksstärkere Lernalgorithmen mit mehr Ebenen zu entwerfen, was zu In-Context-Learning höherer Ordnung führt und potenziell effektive kontinuierliche Lernfähigkeiten freisetzt. Wir befürworten NL, indem wir drei Kernbeiträge vorstellen: (1) Ausdrucksstarke Optimierer: Wir zeigen, dass bekannte gradientenbasierte Optimierer, wie Adam, SGD mit Momentum etc., tatsächlich assoziative Speichermodule sind, die darauf abzielen, die Information der Gradienten (durch Gradientenabstieg) zu komprimieren. Aufbauend auf dieser Erkenntnis stellen wir andere, ausdrucksstärkere Optimierer mit tiefem Gedächtnis und/oder leistungsfähigeren Lernregeln vor; (2) Selbstmodifizierendes Lernmodul: Unter Ausnutzung der NL-Erkenntnisse über Lernalgorithmen stellen wir ein Sequenzmodell vor, das lernt, wie es sich selbst modifizieren kann, indem es seinen eigenen Aktualisierungsalgorithmus lernt; und (3) Kontinuum-Speichersystem: Wir stellen eine neue Formulierung für Speichersysteme vor, die die traditionelle Sichtweise von Langzeit-/Kurzzeitgedächtnis verallgemeinert. Indem wir unser selbstmodifizierendes Sequenzmodell mit dem Kontinuum-Speichersystem kombinieren, stellen wir ein kontinuierliches Lernmodul namens Hope vor, das vielversprechende Ergebnisse bei Sprachmodellierung, Wissenseinbindung, Few-Shot-Generalization, kontinuierlichem Lernen und Aufgaben mit langem Kontext zeigt.

English

Despite the recent progresses, particularly in developing Language Models, there are fundamental challenges and unanswered questions about how such models can continually learn/memorize, self-improve, and find effective solutions. In this paper, we present a new learning paradigm, called Nested Learning (NL), that coherently represents a machine learning model with a set of nested, multi-level, and/or parallel optimization problems, each of which with its own context flow. Through the lenses of NL, existing deep learning methods learns from data through compressing their own context flow, and in-context learning naturally emerges in large models. NL suggests a philosophy to design more expressive learning algorithms with more levels, resulting in higher-order in-context learning and potentially unlocking effective continual learning capabilities. We advocate for NL by presenting three core contributions: (1) Expressive Optimizers: We show that known gradient-based optimizers, such as Adam, SGD with Momentum, etc., are in fact associative memory modules that aim to compress the gradients' information (by gradient descent). Building on this insight, we present other more expressive optimizers with deep memory and/or more powerful learning rules; (2) Self-Modifying Learning Module: Taking advantage of NL's insights on learning algorithms, we present a sequence model that learns how to modify itself by learning its own update algorithm; and (3) Continuum Memory System: We present a new formulation for memory system that generalizes the traditional viewpoint of long/short-term memory. Combining our self-modifying sequence model with the continuum memory system, we present a continual learning module, called Hope, showing promising results in language modeling, knowledge incorporation, and few-shot generalization tasks, continual learning, and long-context reasoning tasks.