Manifold-bandieten: Bayesiaans curriculumleren over de latente geometrie van grote taalmodellen

Samenvatting

Versterkend leren (RL) is een centrale benadering voor het verbeteren van redeneervermogens in grote taalmodellen (LLM's), waarbij de trainingsefficiëntie cruciaal afhangt van hoe problemen worden gesampled tijdens optimalisatie. Bestaande adaptieve curriculumleermethoden geven doorgaans prioriteit aan prompts van gemiddelde moeilijkheidsgraad, waarbij probleemselectie wordt behandeld als een standaard bandietprobleem met onafhankelijke armen, waarbij de gestructureerde, heterogene aard van de taakruimte wordt genegeerd. In dit werk framen we probleemsampling als een manifold-gestructureerd bandietprobleem met endogene niet-stationariteit: problemen zijn gerelateerd via de latente representatieruimte van het model, en samplebeslissingen kunnen sturen hoe leersignalen evolueren over die ruimte. Om dit perspectief te operationaliseren introduceren we het Bayesiaans Manifold Curriculum (BMC), een structuurbewust raamwerk dat problemen organiseert in een hiërarchische takenboom en Bayesiaans leren toepast om sampling te sturen. Empirisch vinden we dat verschillende samplingstrategieën niet-triviale afwegingen veroorzaken tussen productiviteit (leersignaal), diversiteit (dekking van het taakmanifold) en nut (evaluatierelevantie). Deze resultaten tonen aan dat alleen prioriteren op moeilijkheidsgraad onvoldoende is voor sterke downstreamprestaties, wat het belang benadrukt van het integreren van structuur en typebewustzijn in probleemsampling.

English

Reinforcement learning (RL) is a central approach for improving reasoning capabilities in large language models (LLMs), where training efficiency depends critically on how problems are sampled during optimization. Existing adaptive curriculum learning methods typically prioritize prompts of intermediate difficulty, treating problem selection as a standard bandit problem with independent arms and overlooking the structured, heterogeneous nature of the task space. In this work, we frame problem sampling as a manifold-structured bandit problem with endogenous non-stationarity: problems are related through the model's latent representation space, and sampling decisions can steer how learning signals evolve across that space. To operationalize this perspective, we introduce Bayesian Manifold Curriculum (BMC), a structure-aware framework that organizes problems into a hierarchical task tree and applies Bayesian learning to guide sampling. Empirically, we find that different sampling strategies induce non-trivial tradeoffs between productivity (learning signal), diversity (coverage of the task manifold), and utility (evaluation relevance). These results show that prioritizing difficulty alone is insufficient for strong downstream performance, highlighting the importance of incorporating structure and type-awareness into problem sampling.