Понимание и обеспечение разделения весов в арифметике задач

Аннотация

Арифметика задач предоставляет эффективный, не требующий дообучения способ редактирования предварительно обученных моделей, однако не имеет фундаментального теоретического объяснения своего успеха. Существующая концепция «разделения весов» описывает идеальный результат непересекающейся композиции задач, но не раскрывает ее первопричину. Ключевой вопрос — какие внутренние свойства предварительно обученной модели (θ₀) или векторов задач (τₜ) обеспечивают это разделение — остается малоизученным. В данной статье мы вводим Специализацию по Задачам и Признакам (TFS) — способность модели выделять различные внутренние признаки для разных задач — в качестве фундаментального принципа. Сначала мы доказываем, что TFS является достаточным условием для разделения весов. Что более важно, мы обнаруживаем, что TFS также порождает наблюдаемое геометрическое следствие: ортогональность векторов весов. Это позиционирует TFS как общую причину как желаемого функционального результата (разделения), так и измеримого геометрического свойства (ортогональности). Данная взаимосвязь дает ключевую идею для нашего метода: поскольку абстрактное свойство TFS сложно обеспечить напрямую, мы можем вместо этого способствовать разделению весов, формируя его конкретное геометрическое следствие — ортогональность. Поэтому мы предлагаем OrthoReg, простой и эффективный метод регуляризации, который активно формирует внутреннюю ортогональную структуру для обновлений весов (ΔW), составляющих τₜ, в процессе тонкой настройки. Мы также теоретически доказываем, что OrthoReg способствует разделению. Многочисленные эксперименты демонстрируют, что OrthoReg стабильно и значительно улучшает производительность различных методов арифметики задач. Код доступен по адресу https://github.com/RL-MIND/OrthoReg{https://github.com/RL-MIND/OrthoReg}.

English

Task arithmetic provides an efficient, training-free way to edit pre-trained models, yet lacks a fundamental theoretical explanation for its success. The existing concept of ``weight disentanglement" describes the ideal outcome of non-interfering task composition but does not reveal its underlying cause. Crucially, what intrinsic properties of the pre-trained model (θ_0) or the task vectors (τ_t) enable this disentanglement remains underexplored. In this paper, we introduce Task-Feature Specialization (TFS), a model's ability to allocate distinct internal features to different tasks, as the fundamental principle. We first prove that TFS is a sufficient condition for weight disentanglement. More importantly, we find that TFS also gives rise to an observable geometric consequence: weight vector orthogonality. This positions TFS as the common cause for both the desired functional outcome (disentanglement) and a measurable geometric property (orthogonality). This relationship provides the key insight for our method: since the abstract TFS property is intractable to enforce directly, we can instead promote weight disentanglement by shaping its concrete geometric consequence, orthogonality. Therefore, we propose OrthoReg, a simple and effective regularization method that actively enforces an internal orthogonal structure on weight updates (ΔW) that constitute τ_t during fine-tuning. And we theoretically prove that OrthoReg promotes disentanglement. Extensive experiments demonstrate that OrthoReg consistently and significantly enhances the performance of various task arithmetic methods. Code is available at https://github.com/RL-MIND/OrthoReg{https://github.com/RL-MIND/OrthoReg}.

Понимание и обеспечение разделения весов в арифметике задач

Understanding and Enforcing Weight Disentanglement in Task Arithmetic

Аннотация

Support