ISO: RLVRネイティブ最適化スタック

要旨

検証可能な報酬を用いた強化学習（RLVR）は、言語モデルの推論能力を急速に向上させているが、報酬フィードバックを重み空間の更新に変換する最適化層については、依然として理解が不十分である。我々は先行研究（Zhu et al., 2025）に基づき、モデル重みの特異構造を通じてこの欠落した層を研究し、スペクトル継承を特定した。すなわち、RLVRはベースモデルの重みスペクトルを再利用しながら、関連する入力・出力特異フレームの変更を通じて新しい振る舞いを獲得することができる。我々はスペクトル継承を等スペクトル最適化（ISO）として具体化する。これはRLVR固有の固定スペクトル最適化フレームワークであり、オフラインとオンラインの相補的な実装を持つ。オフラインでは、ISO-Mergerが共有ベースの専門家モデルのフレーム変更を単一の固定スペクトルモデルに統合し、マージ後のデータ、ロールアウト、勾配更新、オン・ポリシー蒸留（OPD）を一切必要としない。これにより相補的な専門家能力を回復し、比較対象としたデータフリーのマージ手法の中で最も強い総合性能を達成する。オンラインでは、ISO-OptimizerがAdamWやMuonなどの選択したベース最適化手法をフレーム変数に適用し、ベーススペクトルは固定したままとする。1.5Bから8Bパラメータの推論およびコーディングタスクにおいて、ISO-Optimizerは報告された実行で精度を向上させ、大幅に少ないトレーニングステップで同等のスコアに到達する。Qwen3-8B-Baseでは、AdamWが270トレーニングステップ後に0.495の総合精度に達する。ISO-AdamWはわずか100トレーニングステップで同じ精度に達し、210トレーニングステップ後には0.509にさらに改善する。総合すると、ISOはRLVRの欠落した最適化層に対する具体的な回答を提供する。すなわち、事前学習の最適化をそのまま継承するのではなく、報酬駆動型適応の構造に合わせてポストトレーニングを設計する。スペクトルを継承し、フレームを最適化するのである。

English

Reinforcement learning with verifiable rewards (RLVR) is rapidly advancing the reasoning capabilities of language models, yet the optimization layer that converts reward feedback into weight-space updates remains poorly understood. Building on our prior analysis (Zhu et al., 2025), we study this missing layer through the singular structure of model weights and identify spectral inheritance: RLVR can reuse the base model's weight spectra while acquiring new behavior through changes in the associated input and output singular frames. We operationalize spectral inheritance as Isospectral Optimization (ISO), an RLVR-native, fixed-spectrum optimization framework with complementary offline and online instantiations. Offline, ISO-Merger combines the frame changes of shared-base specialists into a single fixed-spectrum model, requiring no post-merge data, rollouts, gradient updates, or on-policy distillation (OPD). It recovers complementary specialist capabilities and achieves the strongest aggregate performance among the compared data-free merging methods. Online, ISO-Optimizer applies a chosen base optimizer, including AdamW and Muon, to the frame variables while keeping the base spectra fixed. Across reasoning and coding tasks ranging from 1.5B to 8B parameters, ISO-Optimizer improves accuracy in the reported runs and reaches matched scores with substantially fewer training steps. On Qwen3-8B-Base, AdamW reaches an aggregate accuracy of 0.495 after 270 training steps. ISO-AdamW reaches the same accuracy after only 100 training steps and improves further to 0.509 after 210 training steps. Together, ISO offers a concrete answer to RLVR's missing optimization layer: rather than inheriting pre-training optimization wholesale, design post-training around the structure of reward-driven adaptation: inherit the spectrum, optimize the frames.