Composizione della conoscenza mediante vettori di task con ridimensionamento anisotropico appreso

Knowledge Composition using Task Vectors with Learned Anisotropic Scaling

July 3, 2024

Autori: Frederic Z. Zhang, Paul Albert, Cristian Rodriguez-Opazo, Anton van den Hengel, Ehsan Abbasnejad

cs.AI

Abstract

I modelli pre-addestrati producono rappresentazioni generiche robuste che possono essere adattate tramite fine-tuning. La differenza dei pesi appresi rispetto al modello pre-addestrato, nota come vettore di task, caratterizza la direzione e l'ampiezza del fine-tuning. L'importanza dei vettori di task è tale che semplici operazioni aritmetiche su di essi possono essere utilizzate per combinare rappresentazioni diverse provenienti da domini differenti. Questo articolo si basa su queste proprietà dei vettori di task e mira a rispondere a (1) se le componenti dei vettori di task, in particolare i blocchi di parametri, presentano caratteristiche simili, e (2) come tali blocchi possano essere utilizzati per migliorare la composizione e il trasferimento della conoscenza. A tal fine, introduciamo aTLAS, un algoritmo che combina linearmente blocchi di parametri con coefficienti appresi diversi, ottenendo un ridimensionamento anisotropo a livello di vettore di task. Dimostriamo che tali combinazioni lineari sfruttano esplicitamente la bassa dimensionalità intrinseca dei modelli pre-addestrati, con solo pochi coefficienti come parametri apprendibili. Inoltre, la composizione dei blocchi di parametri sfrutta le rappresentazioni già apprese, riducendo così la dipendenza da grandi quantità di dati. Dimostriamo l'efficacia del nostro metodo nell'aritmetica dei task, nel riconoscimento con pochi esempi e nell'adattamento al momento del test, con obiettivi supervisionati o non supervisionati. In particolare, mostriamo che (1) il ridimensionamento anisotropo appreso consente ai vettori di task di essere più disaccoppiati, causando meno interferenze nella composizione; (2) la composizione dei vettori di task eccelle con dati etichettati scarsi o assenti ed è meno soggetta a cambiamenti di dominio, portando così a una migliore generalizzabilità; (3) la miscelazione dei blocchi di parametri più informativi tra diversi vettori di task prima dell'addestramento può ridurre l'impronta di memoria e migliorare la flessibilità del trasferimento di conoscenza. Inoltre, mostriamo il potenziale di aTLAS come metodo PEFT, specialmente con meno dati, e dimostriamo la sua scalabilità.

English

Pre-trained models produce strong generic representations that can be adapted via fine-tuning. The learned weight difference relative to the pre-trained model, known as a task vector, characterises the direction and stride of fine-tuning. The significance of task vectors is such that simple arithmetic operations on them can be used to combine diverse representations from different domains. This paper builds on these properties of task vectors and aims to answer (1) whether components of task vectors, particularly parameter blocks, exhibit similar characteristics, and (2) how such blocks can be used to enhance knowledge composition and transfer. To this end, we introduce aTLAS, an algorithm that linearly combines parameter blocks with different learned coefficients, resulting in anisotropic scaling at the task vector level. We show that such linear combinations explicitly exploit the low intrinsic dimensionality of pre-trained models, with only a few coefficients being the learnable parameters. Furthermore, composition of parameter blocks leverages the already learned representations, thereby reducing the dependency on large amounts of data. We demonstrate the effectiveness of our method in task arithmetic, few-shot recognition and test-time adaptation, with supervised or unsupervised objectives. In particular, we show that (1) learned anisotropic scaling allows task vectors to be more disentangled, causing less interference in composition; (2) task vector composition excels with scarce or no labeled data and is less prone to domain shift, thus leading to better generalisability; (3) mixing the most informative parameter blocks across different task vectors prior to training can reduce the memory footprint and improve the flexibility of knowledge transfer. Moreover, we show the potential of aTLAS as a PEFT method, particularly with less data, and demonstrate that its scalibility.