Spektrale Neuverdrahtung für Erkundung, Reinigung und Modellfusion

Zusammenfassung

Reinforcement Learning hat sich zu einem Standard-Post-Training-Verfahren für große Sprachmodelle entwickelt, jedoch erzeugen dichte vollständige Parameteraktualisierungen zwei einsatzrelevante Engpässe: eine unterdrückte Reasoning-Leistung, die sich oft in einer vorzeitigen Sättigung der Testzeit-Skalierung äußert, sowie Interferenzen bei der Konsolidierung mehrerer Fähigkeiten durch domänenübergreifendes Training oder Modellzusammenführung. Wir zeigen, dass die reasoning-wirksame Komponente dieser Aktualisierungen weitgehend im Spektralraum des Basismodells konzentriert ist, was Subspace-Aligned Rewiring (SAR) motiviert – eine nachträgliche Editierungsmethode, die diesen spektralen Kern bewahrt und orthogonale Komponenten entfernt. SAR erhält somit Reasoning-Gewinne und filtert residuale Aktualisierungsrichtungen heraus, die die Leistung unterdrücken oder domänenübergreifende Interferenzen verstärken. Über mehrere Modellfamilien und -größen hinweg extrahiert SAR kompakte Reasoning-Kerne mit nur etwa 0,58 % der Gesamtparameter: Es bewahrt über 99 % der Post-Training-Leistung, verbessert die High-k-Exploration im mathematischen Reasoning und generalisiert auf agentisches Codieren, indem es sechs von sieben offenen Benchmarks bei einem hausinternen Modell verbessert. SAR bereinigt auch gemischte Domänen-Trainingsaktualisierungen, indem es unterdrückte Programmierfähigkeiten freisetzt, während es mathematisches Reasoning und Instruktionsbefolgung beibehält. Darüber hinaus ermöglicht es die Modellzusammenführung über Experten hinweg und erzielt so eine domänenübergreifende Generalisierung, die frühere Zusammenführungs-Baselines und sogar die besten Einzeldomänen-Experten übertrifft. Insgesamt zeigt SAR, dass die Extraktion reasoning-wirksamer Aktualisierungen aus der Parametergoemetrie als trainingsfreier Mechanismus dienen kann, um Reasoning- und Multidomänen-Leistung zu verbessern.

English

Reinforcement learning has become a standard post-training recipe for large language models, but dense full-parameter updates create two deployment-relevant bottlenecks: suppressed reasoning performance, often reflected by premature saturation of test-time scaling, and interference when consolidating multiple capabilities through multi-domain training or model merging. We show that the reasoning-effective component of these updates is largely concentrated in the base model's spectral space, motivating Subspace-Aligned Rewiring (SAR), a post-hoc editing method that retains this spectral core while removing orthogonal components. SAR therefore preserves reasoning gains and filters residual update directions that suppress performance or amplify cross-domain interference. Across several model families and scales, SAR extracts compact reasoning cores using as little as approximately 0.58% of total parameters: it preserves over 99% of post-training performance and improves high-k exploration in mathematical reasoning, and generalizes to agentic coding by improving six of seven open benchmarks on an in-house model. SAR also purifies mixed-domain training updates by releasing suppressed coding capability while maintaining math reasoning and instruction following. It further enables model merging across experts, yielding cross-domain generalization that surpasses previous merging baselines and even the best single-domain experts. Overall, SAR shows that extracting reasoning-effective updates from parameter geometry can serve as a training-free mechanism to improve reasoning and multi-domain performance.