Mannigfaltigkeits-Banditen: Bayessches Curriculum-Lernen über die latente Geometrie von großen Sprachmodellen

Zusammenfassung

Bestärkendes Lernen (RL) ist ein zentraler Ansatz zur Verbesserung der Reasoning-Fähigkeiten großer Sprachmodelle (LLMs), wobei die Trainingseffizienz entscheidend davon abhängt, wie Probleme während der Optimierung ausgewählt werden. Bestehende adaptive Curriculumsmethoden priorisieren typischerweise Aufgaben mittleren Schwierigkeitsgrads und behandeln die Problemauswahl als ein gewöhnliches Banditenproblem mit unabhängigen Armen, wobei sie die strukturierte, heterogene Beschaffenheit des Aufgabenraums außer Acht lassen. In dieser Arbeit betrachten wir die Problemauswahl als ein manifold-strukturiertes Banditenproblem mit endogener Nichtstationarität: Probleme sind über den latenten Repräsentationsraum des Modells miteinander verbunden, und Auswahlentscheidungen können steuern, wie sich Lernsignale über diesen Raum hinweg entwickeln. Um diese Perspektive zu operationalisieren, führen wir das Bayesian Manifold Curriculum (BMC) ein, ein strukturbewusstes Framework, das Probleme in einen hierarchischen Aufgabenbaum organisiert und Bayessches Lernen zur Steuerung der Auswahl anwendet. Empirisch stellen wir fest, dass verschiedene Auswahlstrategien zu nicht-trivialen Zielkonflikten zwischen Produktivität (Lernsignal), Diversität (Abdeckung der Aufgaben-Mannigfaltigkeit) und Nutzen (Evaluationsrelevanz) führen. Diese Ergebnisse zeigen, dass die alleinige Priorisierung des Schwierigkeitsgrades für eine starke nachgelagerte Leistung nicht ausreicht, und unterstreichen die Bedeutung der Einbeziehung von Struktur und Typbewusstsein in die Problemauswahl.

English

Reinforcement learning (RL) is a central approach for improving reasoning capabilities in large language models (LLMs), where training efficiency depends critically on how problems are sampled during optimization. Existing adaptive curriculum learning methods typically prioritize prompts of intermediate difficulty, treating problem selection as a standard bandit problem with independent arms and overlooking the structured, heterogeneous nature of the task space. In this work, we frame problem sampling as a manifold-structured bandit problem with endogenous non-stationarity: problems are related through the model's latent representation space, and sampling decisions can steer how learning signals evolve across that space. To operationalize this perspective, we introduce Bayesian Manifold Curriculum (BMC), a structure-aware framework that organizes problems into a hierarchical task tree and applies Bayesian learning to guide sampling. Empirically, we find that different sampling strategies induce non-trivial tradeoffs between productivity (learning signal), diversity (coverage of the task manifold), and utility (evaluation relevance). These results show that prioritizing difficulty alone is insufficient for strong downstream performance, highlighting the importance of incorporating structure and type-awareness into problem sampling.