SHERL: Synthetiseren van hoge nauwkeurigheid en efficiënt geheugen voor transferleren met beperkte middelen

SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning

July 10, 2024

Auteurs: Haiwen Diao, Bo Wan, Xu Jia, Yunzhi Zhuge, Ying Zhang, Huchuan Lu, Long Chen

cs.AI

Samenvatting

Parameter-efficient transfer learning (PETL) is uitgegroeid tot een bloeiend onderzoeksveld voor het aanpassen van grote vooraf getrainde modellen aan downstream taken, waarbij het aantal trainbare parameters aanzienlijk wordt verminderd terwijl wordt omgegaan met geheugenuitdagingen tijdens fine-tuning. Om dit aan te pakken, vermijden geheugenefficiënte series (METL) het terugpropageren van gradients door de grote backbone. Dit gaat echter ten koste van het uitsluitend vertrouwen op bevroren tussenliggende outputs en het beperken van de uitgebreide exploratie van voorkennis uit vooraf getrainde modellen. Bovendien worden de afhankelijkheid en redundantie tussen cross-layer features vaak over het hoofd gezien, waardoor meer onderscheidende representaties ondergesneeuwd raken en een inherent prestatiegat ontstaat (ten opzichte van conventionele PETL-methoden). Daarom stellen we een innovatieve METL-strategie voor, genaamd SHERL, voor scenario's met beperkte middelen, waarbij de volledige aanpassing wordt ontkoppeld in twee opeenvolgende en complementaire processen. In de vroege route worden tussenliggende outputs geconsolideerd via een anti-redundantie operatie, waardoor hun compatibiliteit voor latere interacties wordt verbeterd; in de late route kan het gebruik van minimale late vooraf getrainde lagen de piekvraag naar geheugenoverhead verlichten en deze vrij flexibele features reguleren tot meer adaptieve en krachtige representaties voor nieuwe domeinen. Uitgebreide ablatie-experimenten op visueel-taalkundige en alleen-taalkundige taken tonen aan dat SHERL de sterke punten combineert van zowel parameter- als geheugenefficiënte technieken, en presteert op gelijk niveau of beter over diverse architecturen met lager geheugengebruik tijdens fine-tuning. Onze code is publiekelijk beschikbaar op: https://github.com/Paranioar/SHERL.

English

Parameter-efficient transfer learning (PETL) has emerged as a flourishing research field for adapting large pre-trained models to downstream tasks, greatly reducing trainable parameters while grappling with memory challenges during fine-tuning. To address it, memory-efficient series (METL) avoid backpropagating gradients through the large backbone. However, they compromise by exclusively relying on frozen intermediate outputs and limiting the exhaustive exploration of prior knowledge from pre-trained models. Moreover, the dependency and redundancy between cross-layer features are frequently overlooked, thereby submerging more discriminative representations and causing an inherent performance gap (vs. conventional PETL methods). Hence, we propose an innovative METL strategy called SHERL for resource-limited scenarios to decouple the entire adaptation into two successive and complementary processes. In the early route, intermediate outputs are consolidated via an anti-redundancy operation, enhancing their compatibility for subsequent interactions; thereby in the late route, utilizing minimal late pre-trained layers could alleviate the peak demand on memory overhead and regulate these fairly flexible features into more adaptive and powerful representations for new domains. Extensive ablations on vision-and-language and language-only tasks show that SHERL combines the strengths of both parameter and memory-efficient techniques, performing on-par or better across diverse architectures with lower memory during fine-tuning. Our code is publicly available at: https://github.com/Paranioar/SHERL.