DiagEvo: 階層的エラー記憶による診断誘導型自己進化

要旨

自己対戦は言語モデルの自己進化における効果的なパラダイムであるが、誘導がなければ、ソルバーの性能はラウンドを重ねるにつれて頭打ちになったり低下したりすることがある。非誘導型手法は、難易度、学習可能性、多様性などのシグナルを用いて質問生成を方向付ける。これらのシグナルは質問を挑戦的かつ多様に保つが、後のラウンドがどの未解決の推論上の弱点を対象にすべきかは指定しない。誘導型手法は、人間の例、文書コーパス、指定された難易度目標などの外部タスクリソースから方向性を得るため、自己対戦ループの外部から供給されるタスク情報に依存する。我々は、必要な方向性が、ソルバー自身の失敗履歴から導出できることを示す。我々はDiagEvoを導入する。DiagEvoの診断器はこの履歴から繰り返し発生する誤りの原因を抽出し、それらを階層的な誤り原因メモリに格納する。このメモリは、関連する原因をスキルノードの下にグループ化し、対象質問における自己整合性に基づいて各原因をActiveまたはMasteredとして追跡する。チャレンジャーは、これらの状態と再発回数を用いて、原因を対象とした生成と自由探索のバランスを取る。二重信頼度フィルタリングは、ソルバーの最頻回答が明確な票差で先行する場合にのみ、中間難易度の質問を保持する。DiagEvoは、外部タスクリソースを必要とせず、自己対戦中に生成される情報からカリキュラムを導出する。デフォルトの4B診断器を用いた場合、DiagEvoは、Qwen3-4B、Qwen3-8B、OctoThinker-8Bの3つのソルバーのそれぞれについて、9つのベンチマークすべてにわたる平均精度で全ベースラインを上回る。Qwen3-8Bでは、5つの数学的推論ベンチマークにわたる平均精度が72.3%に達し、R-Zeroを4.5パーセントポイント上回る。9つの全ベンチマークにわたる平均精度は57.4%で、DARCを1.1パーセントポイント上回る。アブレーション実験は、階層的誤り原因メモリと二重信頼度フィルタリングの両方がこれらの向上に寄与することを示している。

English

Self-play is an effective paradigm for language-model self-evolution, but without guidance, solver performance can plateau or decline across rounds. Unguided methods steer question generation with signals such as difficulty, learnability, or diversity. These signals keep questions challenging and varied but do not specify which unresolved reasoning weaknesses later rounds should target. Guided methods obtain direction from external task resources, including human examples, document corpora, or specified difficulty targets, and therefore rely on task information supplied outside the self-play loop. We show that the needed direction can instead be derived from the solver's own failure history. We introduce DiagEvo, whose diagnostician extracts recurring error causes from this history and stores them in a hierarchical error-cause memory. The memory groups related causes under skill nodes and tracks each as Active or Mastered according to self-consistency on targeted questions. The challenger uses these states and recurrence counts to balance cause-targeted generation with free exploration. Double-confidence filtering retains intermediate-difficulty questions only when the most common solver answer has a clear vote lead. DiagEvo derives its curriculum from information produced during self-play, without external task resources. With the default 4B diagnostician, DiagEvo outperforms every baseline in mean accuracy across all nine benchmarks for each of the three solvers: Qwen3-4B, Qwen3-8B, and OctoThinker-8B. On Qwen3-8B, it reaches 72.3% mean accuracy across five mathematical reasoning benchmarks, 4.5 percentage points above R-Zero. Its mean accuracy across all nine benchmarks is 57.4%, 1.1 percentage points above DARC. Ablations show that the hierarchical error-cause memory and double-confidence filtering both contribute to these gains.