Comprensión y Aplicación del Desentrelazamiento de Pesos en la Aritmética de Tareas
Understanding and Enforcing Weight Disentanglement in Task Arithmetic
April 18, 2026
Autores: Shangge Liu, Yuehan Yin, Lei Wang, Qi Fan, Yinghuan Shi, Wenbin Li, Yang Gao, Dacheng Tao
cs.AI
Resumen
La aritmética de tareas proporciona una forma eficiente y libre de entrenamiento de editar modelos preentrenados, pero carece de una explicación teórica fundamental para su éxito. El concepto existente de "desentrelazamiento de pesos" describe el resultado ideal de una composición de tareas no interferente, pero no revela su causa subyacente. Crucialmente, las propiedades intrínsecas del modelo preentrenado (θ_0) o de los vectores de tarea (τ_t) que permiten este desentrelazamiento siguen sin explorarse suficientemente. En este artículo, presentamos la Especialización en Características por Tarea (TFS), la capacidad de un modelo para asignar características internas distintas a diferentes tareas, como principio fundamental. Primero demostramos que la TFS es una condición suficiente para el desentrelazamiento de pesos. Más importante aún, encontramos que la TFS también da lugar a una consecuencia geométrica observable: la ortogonalidad de los vectores de peso. Esto posiciona a la TFS como la causa común tanto del resultado funcional deseado (desentrelazamiento) como de una propiedad geométrica medible (ortogonalidad). Esta relación proporciona la idea clave para nuestro método: dado que la propiedad abstracta TFS es intratable de imponer directamente, podemos en su lugar promover el desentrelazamiento de pesos moldeando su consecuencia geométrica concreta, la ortogonalidad. Por lo tanto, proponemos OrthoReg, un método de regularización simple y efectivo que impone activamente una estructura ortogonal interna en las actualizaciones de peso (ΔW) que constituyen τ_t durante el ajuste fino. Y demostramos teóricamente que OrthoReg promueve el desentrelazamiento. Experimentos extensos demuestran que OrthoReg mejora de manera consistente y significativa el rendimiento de varios métodos de aritmética de tareas. El código está disponible en https://github.com/RL-MIND/OrthoReg{https://github.com/RL-MIND/OrthoReg}.
English
Task arithmetic provides an efficient, training-free way to edit pre-trained models, yet lacks a fundamental theoretical explanation for its success. The existing concept of ``weight disentanglement" describes the ideal outcome of non-interfering task composition but does not reveal its underlying cause. Crucially, what intrinsic properties of the pre-trained model (θ_0) or the task vectors (τ_t) enable this disentanglement remains underexplored. In this paper, we introduce Task-Feature Specialization (TFS), a model's ability to allocate distinct internal features to different tasks, as the fundamental principle. We first prove that TFS is a sufficient condition for weight disentanglement. More importantly, we find that TFS also gives rise to an observable geometric consequence: weight vector orthogonality. This positions TFS as the common cause for both the desired functional outcome (disentanglement) and a measurable geometric property (orthogonality). This relationship provides the key insight for our method: since the abstract TFS property is intractable to enforce directly, we can instead promote weight disentanglement by shaping its concrete geometric consequence, orthogonality. Therefore, we propose OrthoReg, a simple and effective regularization method that actively enforces an internal orthogonal structure on weight updates (ΔW) that constitute τ_t during fine-tuning. And we theoretically prove that OrthoReg promotes disentanglement. Extensive experiments demonstrate that OrthoReg consistently and significantly enhances the performance of various task arithmetic methods. Code is available at https://github.com/RL-MIND/OrthoReg{https://github.com/RL-MIND/OrthoReg}.