SHERL: Sintesi di Memoria Efficiente e Alta Precisione per il Transfer Learning in Contesti con Risorse Limitati

SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning

July 10, 2024

Autori: Haiwen Diao, Bo Wan, Xu Jia, Yunzhi Zhuge, Ying Zhang, Huchuan Lu, Long Chen

cs.AI

Abstract

Il transfer learning efficiente in termini di parametri (PETL) è emerso come un campo di ricerca in forte crescita per adattare grandi modelli pre-addestrati a task downstream, riducendo notevolmente i parametri addestrabili e affrontando le sfide legate alla memoria durante il fine-tuning. Per risolvere questo problema, le serie efficienti in termini di memoria (METL) evitano di propagare i gradienti attraverso il grande backbone. Tuttavia, questo compromesso si basa esclusivamente sull'utilizzo di output intermedi congelati, limitando un'esplorazione esaustiva della conoscenza pregressa dei modelli pre-addestrati. Inoltre, la dipendenza e la ridondanza tra le feature cross-layer sono spesso trascurate, oscurando così rappresentazioni più discriminative e causando un gap prestazionale intrinseco (rispetto ai metodi PETL convenzionali). Pertanto, proponiamo una strategia METL innovativa chiamata SHERL per scenari con risorse limitate, che scompone l'intero processo di adattamento in due fasi successive e complementari. Nella fase iniziale, gli output intermedi vengono consolidati tramite un'operazione anti-ridondanza, migliorando la loro compatibilità per interazioni successive; nella fase finale, l'utilizzo di un numero minimo di layer pre-addestrati tardivi può alleviare il picco di richiesta di memoria e regolare queste feature piuttosto flessibili in rappresentazioni più adattive e potenti per nuovi domini. Estese analisi ablative su task di visione-e-linguaggio e solo linguistici dimostrano che SHERL combina i punti di forza delle tecniche efficienti sia in termini di parametri che di memoria, ottenendo prestazioni pari o superiori su diverse architetture con un minor utilizzo di memoria durante il fine-tuning. Il nostro codice è disponibile pubblicamente all'indirizzo: https://github.com/Paranioar/SHERL.

English

Parameter-efficient transfer learning (PETL) has emerged as a flourishing research field for adapting large pre-trained models to downstream tasks, greatly reducing trainable parameters while grappling with memory challenges during fine-tuning. To address it, memory-efficient series (METL) avoid backpropagating gradients through the large backbone. However, they compromise by exclusively relying on frozen intermediate outputs and limiting the exhaustive exploration of prior knowledge from pre-trained models. Moreover, the dependency and redundancy between cross-layer features are frequently overlooked, thereby submerging more discriminative representations and causing an inherent performance gap (vs. conventional PETL methods). Hence, we propose an innovative METL strategy called SHERL for resource-limited scenarios to decouple the entire adaptation into two successive and complementary processes. In the early route, intermediate outputs are consolidated via an anti-redundancy operation, enhancing their compatibility for subsequent interactions; thereby in the late route, utilizing minimal late pre-trained layers could alleviate the peak demand on memory overhead and regulate these fairly flexible features into more adaptive and powerful representations for new domains. Extensive ablations on vision-and-language and language-only tasks show that SHERL combines the strengths of both parameter and memory-efficient techniques, performing on-par or better across diverse architectures with lower memory during fine-tuning. Our code is publicly available at: https://github.com/Paranioar/SHERL.