スキルネイティブなLLMに向けて：長期的推論のベンチマーキングとトレーニングのためのスキルエントロピー

要旨

近年の大規模言語モデル（LLM）における長期的推論では、モデルが推論チェーンの中で異なるスキルを切り替えることが求められる。例えば、最初に数学的導出を行い、その結果を用いてスケジュールを計画するといった具合である。我々はこのような問題をクロススキル長期的タスク（cross-skill long-horizon tasks）と呼ぶ。すなわち、異なる推論スキルを必要とし、かつ以前の出力に依存する多段階タスクである。既存のベンチマークは個々のスキルを評価することが多く、モデルがスキル間をどの程度うまく切り替えられるかを原理的に測定する方法が欠けている。我々は評価と訓練の両面からこのギャップに対処する。まず、あるスキルから別のスキルへの切り替えの難しさを測る指標であるスキルエントロピー（Skill Entropy）を導入する。次に、検証可能かつ自由形式の9つのドメインにわたる558のスキルに基づいて構築されたクロススキル長期的タスクのベンチマークであるSkill^2-Benchを提案する。各タスクにはタスクレベルのスキルエントロピースコアが割り当てられ、3つの難易度レベルに分類される。Skill^2-Bench上で8つのフロンティアモデルと4つのオープンソースモデルを評価すると、スキル切り替えギャップが明らかになる。すなわち、エントロピーが高いタスクでは精度が低下する。次に、我々はスキルエントロピーをベンチマーク用の尺度から訓練信号へと変換する。モデルが各ステップで答えだけでなく、その答えを生成するために使用したスキルも予測する強化学習フレームワークであるSkill-Entropy RLを提案する。報酬は、ステップレベルの正しさと、モデルが予測したスキル系列と正解スキル系列との整合性を測定するスキルエントロピー報酬を組み合わせる。Qwen3-4B-InstructおよびQwen3-1.7Bにおいて、Skill-Entropy RLはSkill^2-Benchスコアをそれぞれ34.4%から68.4%、14.6%から40.1%へ向上させ、競合するベースラインを上回る。同じパイプラインはOpenR1-Mathのような既製の訓練データにも適用でき、スキルエントロピーが再利用可能な訓練信号であることを示している。コードはhttps://github.com/Gen-Verse/Skill-Entropy-RLで入手できる。

English

Long-horizon reasoning in recent LLMs demands that the model switch between distinct skills inside a reasoning chain, such as first doing a math derivation, then using the result to plan a schedule. We call such problems cross-skill long-horizon tasks: multi-step tasks whose steps require different reasoning skills and depend on earlier outputs. Existing benchmarks often evaluate individual skills, lacking a principled way to measure how well a model switches between skills. We address this gap from both the evaluation and training sides. We introduce Skill Entropy, a measure of the difficulty of switching from one skill to another. We then propose Skill^2-Bench, a benchmark of cross-skill long-horizon tasks built over 558 skills across 9 verifiable and open-ended domains. Each task is assigned a task-level skill-entropy score and grouped into three difficulty levels. Evaluating 8 frontier and 4 open-source models on Skill^2-Bench reveals a skill-switching gap: accuracy decreases on higher-entropy tasks. We then turn skill entropy from a benchmark scale into a training signal. We propose Skill-Entropy RL, an RL framework where the model predicts not only the answer at each step but also the skill used to produce it. The reward combines step-level correctness with a skill-entropy reward that measures the alignment between the model-predicted skill sequence and the gold skill sequence. On Qwen3-4B-Instruct and Qwen3-1.7B, Skill-Entropy RL improves the Skill^2-Bench score from 34.4% to 68.4% and from 14.6% to 40.1%, respectively, outperforming competitive baselines. The same pipeline can be applied to off-the-shelf training data such as OpenR1-Math, indicating that skill entropy is a reusable training signal. Code available at: https://github.com/Gen-Verse/Skill-Entropy-RL