Compreensão e Imposição do Desemaranhamento de Pesos na Aritmética de Tarefas
Understanding and Enforcing Weight Disentanglement in Task Arithmetic
April 18, 2026
Autores: Shangge Liu, Yuehan Yin, Lei Wang, Qi Fan, Yinghuan Shi, Wenbin Li, Yang Gao, Dacheng Tao
cs.AI
Resumo
A aritmética de tarefas oferece uma forma eficiente e livre de treinamento para editar modelos pré-treinados, mas carece de uma explicação teórica fundamental para o seu sucesso. O conceito existente de "desagregação de pesos" descreve o resultado ideal da composição de tarefas sem interferência, mas não revela a sua causa subjacente. Crucialmente, quais propriedades intrínsecas do modelo pré-treinado (θ_0) ou dos vetores de tarefa (τ_t) permitem essa desagregação permanece pouco explorado. Neste artigo, introduzimos a Especialização em Características de Tarefa (TFS), a capacidade de um modelo de alocar características internas distintas para diferentes tarefas, como o princípio fundamental. Primeiro, provamos que a TFS é uma condição suficiente para a desagregação de pesos. Mais importante ainda, descobrimos que a TFS também dá origem a uma consequência geométrica observável: a ortogonalidade dos vetores de peso. Isso posiciona a TFS como a causa comum tanto para o resultado funcional desejado (desagregação) quanto para uma propriedade geométrica mensurável (ortogonalidade). Esta relação fornece a visão chave para o nosso método: uma vez que a propriedade abstrata da TFS é intratável para impor diretamente, podemos, em vez disso, promover a desagregação de pesos moldando a sua consequência geométrica concreta, a ortogonalidade. Portanto, propomos o OrthoReg, um método de regularização simples e eficaz que impõe ativamente uma estrutura ortogonal interna nas atualizações de peso (ΔW) que constituem τ_t durante o ajuste fino. E provamos teoricamente que o OrthoReg promove a desagregação. Extensos experimentos demonstram que o OrthoReg melhora de forma consistente e significativa o desempenho de vários métodos de aritmética de tarefas. O código está disponível em https://github.com/RL-MIND/OrthoReg{https://github.com/RL-MIND/OrthoReg}.
English
Task arithmetic provides an efficient, training-free way to edit pre-trained models, yet lacks a fundamental theoretical explanation for its success. The existing concept of ``weight disentanglement" describes the ideal outcome of non-interfering task composition but does not reveal its underlying cause. Crucially, what intrinsic properties of the pre-trained model (θ_0) or the task vectors (τ_t) enable this disentanglement remains underexplored. In this paper, we introduce Task-Feature Specialization (TFS), a model's ability to allocate distinct internal features to different tasks, as the fundamental principle. We first prove that TFS is a sufficient condition for weight disentanglement. More importantly, we find that TFS also gives rise to an observable geometric consequence: weight vector orthogonality. This positions TFS as the common cause for both the desired functional outcome (disentanglement) and a measurable geometric property (orthogonality). This relationship provides the key insight for our method: since the abstract TFS property is intractable to enforce directly, we can instead promote weight disentanglement by shaping its concrete geometric consequence, orthogonality. Therefore, we propose OrthoReg, a simple and effective regularization method that actively enforces an internal orthogonal structure on weight updates (ΔW) that constitute τ_t during fine-tuning. And we theoretically prove that OrthoReg promotes disentanglement. Extensive experiments demonstrate that OrthoReg consistently and significantly enhances the performance of various task arithmetic methods. Code is available at https://github.com/RL-MIND/OrthoReg{https://github.com/RL-MIND/OrthoReg}.