Spectrale herbedrading voor exploratie, zuivering en modelsamenvoeging

Samenvatting

Reinforcement learning is een standaard nabehandelingsrecept geworden voor grote taalmodellen, maar dichte volledige parameterupdates creëren twee implementatie-relevante knelpunten: onderdrukte redeneerprestaties, vaak weerspiegeld door voortijdige verzadiging van testtijd-schaling, en interferentie bij het consolideren van meerdere capaciteiten via multi-domein training of model samenvoegen. We tonen aan dat de redeneereffectieve component van deze updates grotendeels geconcentreerd is in de spectrale ruimte van het basismodel, wat aanleiding geeft tot Subspace-Aligned Rewiring (SAR), een post-hoc bewerkingsmethode die deze spectrale kern behoudt terwijl orthogonale componenten worden verwijderd. SAR behoudt daardoor redeneerwinsten en filtert resterende updaterichtingen die prestaties onderdrukken of cross-domein interferentie versterken. Over verschillende modelfamilies en -schalen heen extraheert SAR compacte redeneerkernen met slechts ongeveer 0,58% van het totale aantal parameters: het behoudt meer dan 99% van de post-training prestaties en verbetert high-k exploratie in wiskundig redeneren, en generaliseert naar agentisch programmeren door zes van de zeven open benchmarks op een intern model te verbeteren. SAR zuivert ook mixed-domein trainingsupdates door onderdrukte programmeercapaciteit vrij te maken, met behoud van wiskundig redeneren en instructievolging. Het maakt bovendien model samenvoegen over experts mogelijk, wat leidt tot cross-domein generalisatie die eerdere samenvoeg-baselines en zelfs de beste enkel-domein experts overtreft. Over het geheel genomen toont SAR aan dat het extraheren van redeneereffectieve updates uit parametergemetrie kan dienen als een trainingsvrij mechanisme om redeneren en multi-domein prestaties te verbeteren.

English

Reinforcement learning has become a standard post-training recipe for large language models, but dense full-parameter updates create two deployment-relevant bottlenecks: suppressed reasoning performance, often reflected by premature saturation of test-time scaling, and interference when consolidating multiple capabilities through multi-domain training or model merging. We show that the reasoning-effective component of these updates is largely concentrated in the base model's spectral space, motivating Subspace-Aligned Rewiring (SAR), a post-hoc editing method that retains this spectral core while removing orthogonal components. SAR therefore preserves reasoning gains and filters residual update directions that suppress performance or amplify cross-domain interference. Across several model families and scales, SAR extracts compact reasoning cores using as little as approximately 0.58% of total parameters: it preserves over 99% of post-training performance and improves high-k exploration in mathematical reasoning, and generalizes to agentic coding by improving six of seven open benchmarks on an in-house model. SAR also purifies mixed-domain training updates by releasing suppressed coding capability while maintaining math reasoning and instruction following. It further enables model merging across experts, yielding cross-domain generalization that surpasses previous merging baselines and even the best single-domain experts. Overall, SAR shows that extracting reasoning-effective updates from parameter geometry can serve as a training-free mechanism to improve reasoning and multi-domain performance.