Composition de connaissances utilisant des vecteurs de tâches avec mise à l'échelle anisotropique apprise

Knowledge Composition using Task Vectors with Learned Anisotropic Scaling

July 3, 2024

Auteurs: Frederic Z. Zhang, Paul Albert, Cristian Rodriguez-Opazo, Anton van den Hengel, Ehsan Abbasnejad

cs.AI

Résumé

Les modèles pré-entraînés produisent des représentations génériques robustes qui peuvent être adaptées via un ajustement fin. La différence de poids apprise par rapport au modèle pré-entraîné, connue sous le nom de vecteur de tâche, caractérise la direction et l'amplitude de l'ajustement fin. L'importance des vecteurs de tâche est telle que des opérations arithmétiques simples sur eux peuvent être utilisées pour combiner des représentations variées provenant de différents domaines. Cet article s'appuie sur ces propriétés des vecteurs de tâche et vise à répondre à (1) si les composantes des vecteurs de tâche, en particulier les blocs de paramètres, présentent des caractéristiques similaires, et (2) comment de tels blocs peuvent être utilisés pour améliorer la composition et le transfert de connaissances. À cette fin, nous introduisons aTLAS, un algorithme qui combine linéairement des blocs de paramètres avec différents coefficients appris, résultant en une mise à l'échelle anisotrope au niveau du vecteur de tâche. Nous montrons que de telles combinaisons linéaires exploitent explicitement la faible dimensionnalité intrinsèque des modèles pré-entraînés, avec seulement quelques coefficients étant les paramètres apprenables. De plus, la composition des blocs de paramètres tire parti des représentations déjà apprises, réduisant ainsi la dépendance à de grandes quantités de données. Nous démontrons l'efficacité de notre méthode dans l'arithmétique des tâches, la reconnaissance en peu de coups et l'adaptation au moment du test, avec des objectifs supervisés ou non supervisés. En particulier, nous montrons que (1) la mise à l'échelle anisotrope apprise permet aux vecteurs de tâche d'être plus désenchevêtrés, causant moins d'interférence dans la composition ; (2) la composition des vecteurs de tâche excelle avec peu ou pas de données étiquetées et est moins sujette au décalage de domaine, conduisant ainsi à une meilleure généralisabilité ; (3) mélanger les blocs de paramètres les plus informatifs à travers différents vecteurs de tâche avant l'entraînement peut réduire l'empreinte mémoire et améliorer la flexibilité du transfert de connaissances. De plus, nous montrons le potentiel d'aTLAS en tant que méthode PEFT, en particulier avec moins de données, et démontrons sa scalabilité.

English

Pre-trained models produce strong generic representations that can be adapted via fine-tuning. The learned weight difference relative to the pre-trained model, known as a task vector, characterises the direction and stride of fine-tuning. The significance of task vectors is such that simple arithmetic operations on them can be used to combine diverse representations from different domains. This paper builds on these properties of task vectors and aims to answer (1) whether components of task vectors, particularly parameter blocks, exhibit similar characteristics, and (2) how such blocks can be used to enhance knowledge composition and transfer. To this end, we introduce aTLAS, an algorithm that linearly combines parameter blocks with different learned coefficients, resulting in anisotropic scaling at the task vector level. We show that such linear combinations explicitly exploit the low intrinsic dimensionality of pre-trained models, with only a few coefficients being the learnable parameters. Furthermore, composition of parameter blocks leverages the already learned representations, thereby reducing the dependency on large amounts of data. We demonstrate the effectiveness of our method in task arithmetic, few-shot recognition and test-time adaptation, with supervised or unsupervised objectives. In particular, we show that (1) learned anisotropic scaling allows task vectors to be more disentangled, causing less interference in composition; (2) task vector composition excels with scarce or no labeled data and is less prone to domain shift, thus leading to better generalisability; (3) mixing the most informative parameter blocks across different task vectors prior to training can reduce the memory footprint and improve the flexibility of knowledge transfer. Moreover, we show the potential of aTLAS as a PEFT method, particularly with less data, and demonstrate that its scalibility.