Составление знаний с использованием векторов задач с изученным анизотропным масштабированием

Knowledge Composition using Task Vectors with Learned Anisotropic Scaling

July 3, 2024

Авторы: Frederic Z. Zhang, Paul Albert, Cristian Rodriguez-Opazo, Anton van den Hengel, Ehsan Abbasnejad

cs.AI

Аннотация

Предварительно обученные модели создают сильные общие представления, которые могут быть адаптированы путем донастройки. Разница в весах, выученная относительно предварительно обученной модели, известная как вектор задачи, характеризует направление и шаг донастройки. Значимость векторов задач такова, что простые арифметические операции над ними могут быть использованы для объединения разнообразных представлений из различных областей. В данной статье основываются на этих свойствах векторов задач и стремятся ответить на (1) вопрос, демонстрируют ли компоненты векторов задач, в частности, блоки параметров, сходные характеристики, и (2) как такие блоки могут быть использованы для улучшения композиции знаний и передачи. В этом контексте мы представляем aTLAS, алгоритм, который линейно комбинирует блоки параметров с различными выученными коэффициентами, что приводит к анизотропному масштабированию на уровне вектора задачи. Мы показываем, что такие линейные комбинации явно используют низкую внутреннюю размерность предварительно обученных моделей, при этом лишь несколько коэффициентов являются обучаемыми параметрами. Кроме того, композиция блоков параметров использует уже выученные представления, тем самым уменьшая зависимость от больших объемов данных. Мы демонстрируем эффективность нашего метода в задачах арифметики, распознавания с малым числом обучающих примеров и адаптации во время тестирования, с надзорными или безнадзорными целями. В частности, мы показываем, что (1) выученное анизотропное масштабирование позволяет векторам задач быть более дезентанглированными, вызывая меньшее взаимное влияние в композиции; (2) композиция векторов задач превосходит с недостаточными или без меток данных и менее подвержена сдвигу области, что приводит к лучшей обобщаемости; (3) смешивание наиболее информативных блоков параметров между различными векторами задач перед обучением может уменьшить объем памяти и улучшить гибкость передачи знаний. Более того, мы показываем потенциал aTLAS как метода PEFT, особенно с меньшим объемом данных, и демонстрируем его масштабируемость.

English

Pre-trained models produce strong generic representations that can be adapted via fine-tuning. The learned weight difference relative to the pre-trained model, known as a task vector, characterises the direction and stride of fine-tuning. The significance of task vectors is such that simple arithmetic operations on them can be used to combine diverse representations from different domains. This paper builds on these properties of task vectors and aims to answer (1) whether components of task vectors, particularly parameter blocks, exhibit similar characteristics, and (2) how such blocks can be used to enhance knowledge composition and transfer. To this end, we introduce aTLAS, an algorithm that linearly combines parameter blocks with different learned coefficients, resulting in anisotropic scaling at the task vector level. We show that such linear combinations explicitly exploit the low intrinsic dimensionality of pre-trained models, with only a few coefficients being the learnable parameters. Furthermore, composition of parameter blocks leverages the already learned representations, thereby reducing the dependency on large amounts of data. We demonstrate the effectiveness of our method in task arithmetic, few-shot recognition and test-time adaptation, with supervised or unsupervised objectives. In particular, we show that (1) learned anisotropic scaling allows task vectors to be more disentangled, causing less interference in composition; (2) task vector composition excels with scarce or no labeled data and is less prone to domain shift, thus leading to better generalisability; (3) mixing the most informative parameter blocks across different task vectors prior to training can reduce the memory footprint and improve the flexibility of knowledge transfer. Moreover, we show the potential of aTLAS as a PEFT method, particularly with less data, and demonstrate that its scalibility.