タスク算術における重み分離の理解と強制

Understanding and Enforcing Weight Disentanglement in Task Arithmetic

April 18, 2026

著者: Shangge Liu, Yuehan Yin, Lei Wang, Qi Fan, Yinghuan Shi, Wenbin Li, Yang Gao, Dacheng Tao

cs.AI

要旨

タスク算術は、事前学習済みモデルを編集する効率的かつ学習不要な手法を提供するが、その成功に対する理論的な説明は未確立である。既存の「重みの分離性」という概念は、干渉のないタスク合成の理想的な結果を記述するが、その根本原因を明らかにしない。特に、事前学習済みモデル（θ_0）やタスクベクトル（τ_t）のどの内在的特性がこの分離性を可能にするかは未解明のままだ。本論文では、異なるタスクに異なる内部特徴を割り当てるモデルの能力である「タスク-特徴特化（TFS）」を基本原理として提案する。まず、TFSが重みの分離性の十分条件であることを証明する。さらに重要なことに、TFSが観測可能な幾何学的帰結、すなわち重みベクトルの直交性を生じさせることを発見した。これにより、TFSが機能的な成果（分離性）と計測可能な幾何学的特性（直交性）の両方の共通原因として位置づけられる。この関係性が本手法の核心的知見となる：抽象的なTFS特性を直接強制するのは困難であるため、その具体的な幾何学的帰結である直交性を形成することで、間接的に重みの分離性を促進できる。そこで我々は、ファインチューニング中にτ_tを構成する重み更新量（ΔW）に対して内部的な直交構造を能動的に強制する、簡潔で効果的な正則化手法OrthoRegを提案する。そしてOrthoRegが分離性を促進することを理論的に証明する。大規模な実験により、OrthoRegが様々なタスク算術手法の性能を一貫して大幅に向上させることを実証する。コードはhttps://github.com/RL-MIND/OrthoReg{https://github.com/RL-MIND/OrthoReg}で公開されている。

English

Task arithmetic provides an efficient, training-free way to edit pre-trained models, yet lacks a fundamental theoretical explanation for its success. The existing concept of ``weight disentanglement" describes the ideal outcome of non-interfering task composition but does not reveal its underlying cause. Crucially, what intrinsic properties of the pre-trained model (θ_0) or the task vectors (τ_t) enable this disentanglement remains underexplored. In this paper, we introduce Task-Feature Specialization (TFS), a model's ability to allocate distinct internal features to different tasks, as the fundamental principle. We first prove that TFS is a sufficient condition for weight disentanglement. More importantly, we find that TFS also gives rise to an observable geometric consequence: weight vector orthogonality. This positions TFS as the common cause for both the desired functional outcome (disentanglement) and a measurable geometric property (orthogonality). This relationship provides the key insight for our method: since the abstract TFS property is intractable to enforce directly, we can instead promote weight disentanglement by shaping its concrete geometric consequence, orthogonality. Therefore, we propose OrthoReg, a simple and effective regularization method that actively enforces an internal orthogonal structure on weight updates (ΔW) that constitute τ_t during fine-tuning. And we theoretically prove that OrthoReg promotes disentanglement. Extensive experiments demonstrate that OrthoReg consistently and significantly enhances the performance of various task arithmetic methods. Code is available at https://github.com/RL-MIND/OrthoReg{https://github.com/RL-MIND/OrthoReg}.