Comprendre et Appliquer le Désenchevêtrement des Poids dans l'Arithmétique des Tâches
Understanding and Enforcing Weight Disentanglement in Task Arithmetic
April 18, 2026
Auteurs: Shangge Liu, Yuehan Yin, Lei Wang, Qi Fan, Yinghuan Shi, Wenbin Li, Yang Gao, Dacheng Tao
cs.AI
Résumé
L'arithmétique des tâches offre un moyen efficace et sans entraînement de modifier des modèles pré-entraînés, mais elle manque d'une explication théorique fondamentale justifiant son succès. Le concept existant de « désentrelacement des poids » décrit le résultat idéal d'une composition de tâches non interférente, mais n'en révèle pas la cause sous-jacente. De manière cruciale, les propriétés intrinsèques du modèle pré-entraîné (θ₀) ou des vecteurs de tâche (τₜ) qui permettent ce désentrelacement restent insuffisamment explorées. Dans cet article, nous introduisons la Spécialisation Tâche-Caractéristique (TFS), c'est-à-dire la capacité d'un modèle à allouer des caractéristiques internes distinctes à différentes tâches, comme principe fondamental. Nous prouvons d'abord que la TFS est une condition suffisante pour le désentrelacement des poids. Plus important encore, nous constatons que la TFS donne également lieu à une conséquence géométrique observable : l'orthogonalité des vecteurs de poids. Cela positionne la TFS comme la cause commune à la fois du résultat fonctionnel souhaité (le désentrelacement) et d'une propriété géométrique mesurable (l'orthogonalité). Cette relation fournit l'idée clé de notre méthode : puisque la propriété abstraite de TFS est intraitable à imposer directement, nous pouvons plutôt favoriser le désentrelacement des poids en façonnant sa conséquence géométrique concrète, l'orthogonalité. Par conséquent, nous proposons OrthoReg, une méthode de régularisation simple et efficace qui impose activement une structure orthogonale interne sur les mises à jour des poids (ΔW) qui constituent τₜ pendant le réglage fin. Et nous prouvons théoriquement qu'OrthoReg favorise le désentrelacement. Des expériences approfondies démontrent qu'OrthoReg améliore de manière constante et significative les performances de diverses méthodes d'arithmétique des tâches. Le code est disponible à l'adresse https://github.com/RL-MIND/OrthoReg{https://github.com/RL-MIND/OrthoReg}.
English
Task arithmetic provides an efficient, training-free way to edit pre-trained models, yet lacks a fundamental theoretical explanation for its success. The existing concept of ``weight disentanglement" describes the ideal outcome of non-interfering task composition but does not reveal its underlying cause. Crucially, what intrinsic properties of the pre-trained model (θ_0) or the task vectors (τ_t) enable this disentanglement remains underexplored. In this paper, we introduce Task-Feature Specialization (TFS), a model's ability to allocate distinct internal features to different tasks, as the fundamental principle. We first prove that TFS is a sufficient condition for weight disentanglement. More importantly, we find that TFS also gives rise to an observable geometric consequence: weight vector orthogonality. This positions TFS as the common cause for both the desired functional outcome (disentanglement) and a measurable geometric property (orthogonality). This relationship provides the key insight for our method: since the abstract TFS property is intractable to enforce directly, we can instead promote weight disentanglement by shaping its concrete geometric consequence, orthogonality. Therefore, we propose OrthoReg, a simple and effective regularization method that actively enforces an internal orthogonal structure on weight updates (ΔW) that constitute τ_t during fine-tuning. And we theoretically prove that OrthoReg promotes disentanglement. Extensive experiments demonstrate that OrthoReg consistently and significantly enhances the performance of various task arithmetic methods. Code is available at https://github.com/RL-MIND/OrthoReg{https://github.com/RL-MIND/OrthoReg}.