Begrijpen en Afdwingen van Gewichtsontvlechting in Taakrekenkunde
Understanding and Enforcing Weight Disentanglement in Task Arithmetic
April 18, 2026
Auteurs: Shangge Liu, Yuehan Yin, Lei Wang, Qi Fan, Yinghuan Shi, Wenbin Li, Yang Gao, Dacheng Tao
cs.AI
Samenvatting
Taakrekening biedt een efficiënte, trainingsvrije methode om vooraf getrainde modellen aan te passen, maar mist een fundamentele theoretische verklaring voor haar succes. Het bestaande concept van "gewichtsontvlechting" beschrijft het ideale resultaat van niet-interfererende taaksamenstelling maar onthult niet de onderliggende oorzaak. Cruciaal is dat de intrinsieke eigenschappen van het vooraf getrainde model (θ_0) of de taakvectoren (τ_t) die deze ontvlechting mogelijk maken, onderbelicht blijven. In dit artikel introduceren we Taak-Functie Specialisatie (TFS), het vermogen van een model om distinctieve interne functies aan verschillende taken toe te wijzen, als fundamenteel principe. We bewijzen eerst dat TFS een voldoende voorwaarde is voor gewichtsontvlechting. Belangrijker is dat we vaststellen dat TFS ook een observeerbaar geometrisch gevolg heeft: orthogonaliteit van gewichtsvectoren. Dit positioneert TFS als de gemeenschappelijke oorzaak voor zowel het gewenste functionele resultaat (ontvlechting) als een meetbare geometrische eigenschap (orthogonaliteit). Deze relatie verschaft het cruciale inzicht voor onze methode: aangezien de abstracte TFS-eigenschap onhanteerbaar is om direct af te dwingen, kunnen we gewichtsontvlechting bevorderen door het concrete geometrische gevolg, orthogonaliteit, vorm te geven. Daarom stellen we OrthoReg voor, een simpele en effectieve regularisatiemethode die actief een interne orthogonale structuur afdwingt op gewichtsaanpassingen (ΔW) die τ_t vormen tijdens fine-tuning. En we bewijzen theoretisch dat OrthoReg ontvlechting bevordert. Uitgebreide experimenten tonen aan dat OrthoReg consistent en significant de prestaties van diverse taakrekeningmethoden verbetert. Code is beschikbaar op https://github.com/RL-MIND/OrthoReg{https://github.com/RL-MIND/OrthoReg}.
English
Task arithmetic provides an efficient, training-free way to edit pre-trained models, yet lacks a fundamental theoretical explanation for its success. The existing concept of ``weight disentanglement" describes the ideal outcome of non-interfering task composition but does not reveal its underlying cause. Crucially, what intrinsic properties of the pre-trained model (θ_0) or the task vectors (τ_t) enable this disentanglement remains underexplored. In this paper, we introduce Task-Feature Specialization (TFS), a model's ability to allocate distinct internal features to different tasks, as the fundamental principle. We first prove that TFS is a sufficient condition for weight disentanglement. More importantly, we find that TFS also gives rise to an observable geometric consequence: weight vector orthogonality. This positions TFS as the common cause for both the desired functional outcome (disentanglement) and a measurable geometric property (orthogonality). This relationship provides the key insight for our method: since the abstract TFS property is intractable to enforce directly, we can instead promote weight disentanglement by shaping its concrete geometric consequence, orthogonality. Therefore, we propose OrthoReg, a simple and effective regularization method that actively enforces an internal orthogonal structure on weight updates (ΔW) that constitute τ_t during fine-tuning. And we theoretically prove that OrthoReg promotes disentanglement. Extensive experiments demonstrate that OrthoReg consistently and significantly enhances the performance of various task arithmetic methods. Code is available at https://github.com/RL-MIND/OrthoReg{https://github.com/RL-MIND/OrthoReg}.