探索、精製、およびモデル融合のためのスペクトル再配線

要旨

強化学習は大規模言語モデルにおける標準的な事後学習パラダイムとなっているが、密な全パラメータ更新は、デプロイメントに関連する二つのボトルネックを生み出す。すなわち、テスト時スケーリングの早期飽和としてしばしば現れる抑制された推論性能と、マルチドメイン学習やモデルマージによる複数能力の統合時の干渉である。本稿では、これらの更新のうち推論に有効な成分がベースモデルのスペクトル空間に主に集中していることを示し、このスペクトル核を保持しつつ直交成分を除去する事後編集手法である部分空間調整再配線（SAR）を提案する。SARは推論の利得を維持し、性能を抑制したりクロスドメイン干渉を増幅する残余更新方向をフィルタリングする。複数のモデルファミリーとスケールにわたり、SARは全パラメータの約0.58%というわずかな量でコンパクトな推論核を抽出する。事後学習性能の99%以上を維持し、数学的推論における高k探索を改善し、社内モデルにおいて7つのオープンベンチマークのうち6つを改善することでエージェンティックコーディングに一般化する。またSARは、数学的推論と指示追従を維持しつつ抑制されていたコーディング能力を解放することで、混在ドメイン学習更新を浄化する。さらにエキスパート間のモデルマージを可能にし、従来のマージベースラインや最良の単一ドメインエキスパートをも凌駕するクロスドメイン汎化を実現する。全体としてSARは、パラメータ幾何学から推論に有効な更新を抽出することが、推論とマルチドメイン性能を向上させる訓練不要のメカニズムとして機能することを示している。

English

Reinforcement learning has become a standard post-training recipe for large language models, but dense full-parameter updates create two deployment-relevant bottlenecks: suppressed reasoning performance, often reflected by premature saturation of test-time scaling, and interference when consolidating multiple capabilities through multi-domain training or model merging. We show that the reasoning-effective component of these updates is largely concentrated in the base model's spectral space, motivating Subspace-Aligned Rewiring (SAR), a post-hoc editing method that retains this spectral core while removing orthogonal components. SAR therefore preserves reasoning gains and filters residual update directions that suppress performance or amplify cross-domain interference. Across several model families and scales, SAR extracts compact reasoning cores using as little as approximately 0.58% of total parameters: it preserves over 99% of post-training performance and improves high-k exploration in mathematical reasoning, and generalizes to agentic coding by improving six of seven open benchmarks on an in-house model. SAR also purifies mixed-domain training updates by releasing suppressed coding capability while maintaining math reasoning and instruction following. It further enables model merging across experts, yielding cross-domain generalization that surpasses previous merging baselines and even the best single-domain experts. Overall, SAR shows that extracting reasoning-effective updates from parameter geometry can serve as a training-free mechanism to improve reasoning and multi-domain performance.