Kenniscompositie met taakvectoren met geleerde anisotropische schaling

Knowledge Composition using Task Vectors with Learned Anisotropic Scaling

July 3, 2024

Auteurs: Frederic Z. Zhang, Paul Albert, Cristian Rodriguez-Opazo, Anton van den Hengel, Ehsan Abbasnejad

cs.AI

Samenvatting

Voorgetrainde modellen produceren sterke generieke representaties die kunnen worden aangepast via fine-tuning. Het geleerde gewichtsverschil ten opzichte van het voorgetrainde model, bekend als een taakvector, karakteriseert de richting en stapgrootte van fine-tuning. Het belang van taakvectoren is zodanig dat eenvoudige rekenkundige bewerkingen erop kunnen worden gebruikt om diverse representaties uit verschillende domeinen te combineren. Dit artikel bouwt voort op deze eigenschappen van taakvectoren en streeft ernaar te beantwoorden (1) of componenten van taakvectoren, met name parameterblokken, vergelijkbare kenmerken vertonen, en (2) hoe dergelijke blokken kunnen worden gebruikt om kenniscompositie en -overdracht te verbeteren. Hiertoe introduceren we aTLAS, een algoritme dat parameterblokken lineair combineert met verschillende geleerde coëfficiënten, wat resulteert in anisotropische schaling op het niveau van de taakvector. We tonen aan dat dergelijke lineaire combinaties expliciet gebruikmaken van de lage intrinsieke dimensionaliteit van voorgetrainde modellen, waarbij slechts enkele coëfficiënten de leerbare parameters zijn. Bovendien maakt de compositie van parameterblokken gebruik van de reeds geleerde representaties, waardoor de afhankelijkheid van grote hoeveelheden data wordt verminderd. We demonstreren de effectiviteit van onze methode in taakrekenkunde, few-shot herkenning en testtijd-aanpassing, met begeleide of onbegeleide doelen. In het bijzonder tonen we aan dat (1) geleerde anisotropische schaling taakvectoren meer ontward maakt, wat minder interferentie veroorzaakt bij compositie; (2) taakvectorcompositie uitblinkt bij schaarse of geen gelabelde data en is minder gevoelig voor domeinverschuiving, wat leidt tot betere generaliseerbaarheid; (3) het mengen van de meest informatieve parameterblokken over verschillende taakvectoren vóór de training het geheugenverbruik kan verminderen en de flexibiliteit van kennisoverdracht kan verbeteren. Bovendien tonen we het potentieel van aTLAS als een PEFT-methode, vooral bij minder data, en demonstreren we de schaalbaarheid ervan.

English

Pre-trained models produce strong generic representations that can be adapted via fine-tuning. The learned weight difference relative to the pre-trained model, known as a task vector, characterises the direction and stride of fine-tuning. The significance of task vectors is such that simple arithmetic operations on them can be used to combine diverse representations from different domains. This paper builds on these properties of task vectors and aims to answer (1) whether components of task vectors, particularly parameter blocks, exhibit similar characteristics, and (2) how such blocks can be used to enhance knowledge composition and transfer. To this end, we introduce aTLAS, an algorithm that linearly combines parameter blocks with different learned coefficients, resulting in anisotropic scaling at the task vector level. We show that such linear combinations explicitly exploit the low intrinsic dimensionality of pre-trained models, with only a few coefficients being the learnable parameters. Furthermore, composition of parameter blocks leverages the already learned representations, thereby reducing the dependency on large amounts of data. We demonstrate the effectiveness of our method in task arithmetic, few-shot recognition and test-time adaptation, with supervised or unsupervised objectives. In particular, we show that (1) learned anisotropic scaling allows task vectors to be more disentangled, causing less interference in composition; (2) task vector composition excels with scarce or no labeled data and is less prone to domain shift, thus leading to better generalisability; (3) mixing the most informative parameter blocks across different task vectors prior to training can reduce the memory footprint and improve the flexibility of knowledge transfer. Moreover, we show the potential of aTLAS as a PEFT method, particularly with less data, and demonstrate that its scalibility.