다양체 밴딧: 대규모 언어 모델의 잠재 기하 구조에 대한 베이지안 커리큘럼 학습

초록

강화 학습(RL)은 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 핵심 접근법으로, 훈련 효율성은 최적화 과정에서 문제를 어떻게 샘플링하는지에 크게 좌우된다. 기존의 적응형 커리큘럼 학습 방법들은 일반적으로 중간 난이도의 프롬프트를 우선시하며, 문제 선택을 독립적인 팔(arm)을 가진 표준 밴딧 문제로 취급하여 작업 공간의 구조화되고 이질적인 특성을 간과한다. 본 연구에서는 문제 샘플링을 내생적 비정상성(endogenous non-stationarity)을 갖는 다양체 구조의 밴딧 문제로 구성한다. 즉, 문제들은 모델의 잠재 표현 공간을 통해 서로 연결되며, 샘플링 결정은 학습 신호가 해당 공간에서 어떻게 진화하는지를 조정할 수 있다. 이 관점을 구현하기 위해, 우리는 베이지안 다양체 커리큘럼(BMC)을 도입한다. 이는 문제들을 계층적 작업 트리로 조직하고 베이지안 학습을 적용하여 샘플링을 안내하는 구조 인식 프레임워크이다. 경험적으로, 우리는 서로 다른 샘플링 전략이 생산성(학습 신호), 다양성(작업 다양체의 범위), 유용성(평가 관련성) 사이에 사소하지 않은 균형을 유도함을 발견한다. 이러한 결과는 난이도만을 우선시하는 것만으로는 강력한 하위 성과를 얻기에 불충분함을 보여주며, 문제 샘플링에 구조와 유형 인식을 통합하는 것의 중요성을 강조한다.

English

Reinforcement learning (RL) is a central approach for improving reasoning capabilities in large language models (LLMs), where training efficiency depends critically on how problems are sampled during optimization. Existing adaptive curriculum learning methods typically prioritize prompts of intermediate difficulty, treating problem selection as a standard bandit problem with independent arms and overlooking the structured, heterogeneous nature of the task space. In this work, we frame problem sampling as a manifold-structured bandit problem with endogenous non-stationarity: problems are related through the model's latent representation space, and sampling decisions can steer how learning signals evolve across that space. To operationalize this perspective, we introduce Bayesian Manifold Curriculum (BMC), a structure-aware framework that organizes problems into a hierarchical task tree and applies Bayesian learning to guide sampling. Empirically, we find that different sampling strategies induce non-trivial tradeoffs between productivity (learning signal), diversity (coverage of the task manifold), and utility (evaluation relevance). These results show that prioritizing difficulty alone is insufficient for strong downstream performance, highlighting the importance of incorporating structure and type-awareness into problem sampling.