스킬-네이티브 LLM을 향하여: 장기 지평 추론의 벤치마킹과 훈련을 위한 스킬 엔트로피

초록

최근 LLM의 장기 추론은 모델이 추론 체인 내에서 서로 다른 스킬을 전환할 것을 요구한다. 예를 들어, 먼저 수학적 유도를 수행한 다음 그 결과를 사용하여 일정을 계획하는 경우가 이에 해당한다. 우리는 이전 출력에 의존하며 서로 다른 추론 스킬을 요구하는 다단계 과제를 교차 스킬 장기 과제(cross-skill long-horizon tasks)라고 부른다. 기존 벤치마크는 종종 개별 스킬을 평가할 뿐, 모델이 스킬을 전환하는 능력을 측정할 원리적인 방법이 부족하다. 우리는 평가와 훈련 양측에서 이 격차를 해소한다. 한 스킬에서 다른 스킬로 전환하는 난이도를 측정하는 스킬 엔트로피(Skill Entropy)를 도입하고, 9개의 검증 가능하고 개방형 도메인에 걸쳐 있는 558개 스킬로 구축된 교차 스킬 장기 과제 벤치마크인 Skill^2-Bench를 제안한다. 각 과제에는 과제 수준 스킬 엔트로피 점수가 할당되고 세 가지 난이도 수준으로 분류된다. Skill^2-Bench에서 8개의 최첨단 모델과 4개의 오픈소스 모델을 평가한 결과 스킬 전환 격차(skill-switching gap)가 드러난다: 엔트로피가 높은 과제에서는 정확도가 감소한다. 다음으로, 스킬 엔트로피를 벤치마크 척도에서 훈련 신호로 전환한다. 모델이 각 단계에서 정답뿐만 아니라 그 정답을 생성하는 데 사용된 스킬도 예측하는 RL 프레임워크인 Skill-Entropy RL을 제안한다. 보상 함수는 단계 수준 정확성과, 모델이 예측한 스킬 시퀀스와 정답 스킬 시퀀스 간의 정렬을 측정하는 스킬 엔트로피 보상을 결합한다. Qwen3-4B-Instruct와 Qwen3-1.7B에서 Skill-Entropy RL은 Skill^2-Bench 점수를 각각 34.4%에서 68.4%로, 14.6%에서 40.1%로 향상시켜 경쟁력 있는 기준선을 능가한다. 동일한 파이프라인은 OpenR1-Math와 같은 기성 학습 데이터에도 적용될 수 있으며, 이는 스킬 엔트로피가 재사용 가능한 훈련 신호임을 나타낸다. 코드는 https://github.com/Gen-Verse/Skill-Entropy-RL에서 확인할 수 있다.

English

Long-horizon reasoning in recent LLMs demands that the model switch between distinct skills inside a reasoning chain, such as first doing a math derivation, then using the result to plan a schedule. We call such problems cross-skill long-horizon tasks: multi-step tasks whose steps require different reasoning skills and depend on earlier outputs. Existing benchmarks often evaluate individual skills, lacking a principled way to measure how well a model switches between skills. We address this gap from both the evaluation and training sides. We introduce Skill Entropy, a measure of the difficulty of switching from one skill to another. We then propose Skill^2-Bench, a benchmark of cross-skill long-horizon tasks built over 558 skills across 9 verifiable and open-ended domains. Each task is assigned a task-level skill-entropy score and grouped into three difficulty levels. Evaluating 8 frontier and 4 open-source models on Skill^2-Bench reveals a skill-switching gap: accuracy decreases on higher-entropy tasks. We then turn skill entropy from a benchmark scale into a training signal. We propose Skill-Entropy RL, an RL framework where the model predicts not only the answer at each step but also the skill used to produce it. The reward combines step-level correctness with a skill-entropy reward that measures the alignment between the model-predicted skill sequence and the gold skill sequence. On Qwen3-4B-Instruct and Qwen3-1.7B, Skill-Entropy RL improves the Skill^2-Bench score from 34.4% to 68.4% and from 14.6% to 40.1%, respectively, outperforming competitive baselines. The same pipeline can be applied to off-the-shelf training data such as OpenR1-Math, indicating that skill entropy is a reusable training signal. Code available at: https://github.com/Gen-Verse/Skill-Entropy-RL