Reconfiguration spectrale pour l'exploration, la purification et la fusion de modèles

Résumé

L’apprentissage par renforcement est devenu une méthode standard de post-entraînement pour les grands modèles de langage, mais les mises à jour denses des paramètres complets créent deux goulots d’étranglement liés au déploiement : une performance de raisonnement supprimée, souvent reflétée par une saturation prématurée du passage à l’échelle en phase de test, et une interférence lors de la consolidation de multiples capacités par un entraînement multi-domaines ou une fusion de modèles. Nous montrons que la composante efficace pour le raisonnement de ces mises à jour est largement concentrée dans l’espace spectral du modèle de base, ce qui motive le Subspace-Aligned Rewiring (SAR), une méthode de modification a posteriori qui conserve ce noyau spectral tout en éliminant les composantes orthogonales. Le SAR préserve donc les gains de raisonnement et filtre les directions résiduelles de mise à jour qui suppriment la performance ou amplifient l’interférence inter-domaines. Sur plusieurs familles et échelles de modèles, le SAR extrait des noyaux de raisonnement compacts en utilisant aussi peu qu’environ 0,58 % des paramètres totaux : il préserve plus de 99 % de la performance post-entraînement et améliore l’exploration élevée en k dans le raisonnement mathématique, et se généralise au codage agentique en améliorant six des sept benchmarks ouverts sur un modèle interne. Le SAR purifie également les mises à jour d’entraînement multi-domaines en libérant la capacité de codage supprimée tout en maintenant le raisonnement mathématique et le suivi d’instructions. Il permet en outre la fusion de modèles entre experts, produisant une généralisation inter-domaines qui dépasse les précédentes bases de fusion et même les meilleurs experts mono-domaine. Globalement, le SAR montre que l’extraction des mises à jour efficaces pour le raisonnement à partir de la géométrie des paramètres peut servir de mécanisme sans entraînement pour améliorer le raisonnement et la performance multi-domaines.

English

Reinforcement learning has become a standard post-training recipe for large language models, but dense full-parameter updates create two deployment-relevant bottlenecks: suppressed reasoning performance, often reflected by premature saturation of test-time scaling, and interference when consolidating multiple capabilities through multi-domain training or model merging. We show that the reasoning-effective component of these updates is largely concentrated in the base model's spectral space, motivating Subspace-Aligned Rewiring (SAR), a post-hoc editing method that retains this spectral core while removing orthogonal components. SAR therefore preserves reasoning gains and filters residual update directions that suppress performance or amplify cross-domain interference. Across several model families and scales, SAR extracts compact reasoning cores using as little as approximately 0.58% of total parameters: it preserves over 99% of post-training performance and improves high-k exploration in mathematical reasoning, and generalizes to agentic coding by improving six of seven open benchmarks on an in-house model. SAR also purifies mixed-domain training updates by releasing suppressed coding capability while maintaining math reasoning and instruction following. It further enables model merging across experts, yielding cross-domain generalization that surpasses previous merging baselines and even the best single-domain experts. Overall, SAR shows that extracting reasoning-effective updates from parameter geometry can serve as a training-free mechanism to improve reasoning and multi-domain performance.