SHERL: Synthese von hoher Genauigkeit und effizientem Speicher für ressourcenbeschränktes Transferlernen

SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning

July 10, 2024

Autoren: Haiwen Diao, Bo Wan, Xu Jia, Yunzhi Zhuge, Ying Zhang, Huchuan Lu, Long Chen

cs.AI

Zusammenfassung

Parameter-effizientes Transferlernen (PETL) hat sich als blühendes Forschungsfeld etabliert, um große vorab trainierte Modelle an nachgelagerte Aufgaben anzupassen, wobei die trainierbaren Parameter erheblich reduziert werden, während gleichzeitig mit Speicherherausforderungen während des Feinabstimmens gekämpft wird. Um dies anzugehen, vermeiden speichereffiziente Serien (METL) das Rückpropagieren von Gradienten durch das große Grundgerüst. Allerdings gehen sie Kompromisse ein, indem sie ausschließlich auf eingefrorene Zwischenausgaben angewiesen sind und die umfassende Exploration des Vorwissens aus vorab trainierten Modellen einschränken. Darüber hinaus werden die Abhängigkeit und Redundanz zwischen Merkmalen verschiedener Schichten häufig übersehen, wodurch mehr diskriminative Darstellungen untergehen und eine inhärente Leistungslücke (gegenüber herkömmlichen PETL-Methoden) verursacht wird. Daher schlagen wir eine innovative METL-Strategie namens SHERL für ressourcenbeschränkte Szenarien vor, um die gesamte Anpassung in zwei aufeinanderfolgende und ergänzende Prozesse zu trennen. Auf dem frühen Weg werden Zwischenausgaben über eine Anti-Redundanz-Operation konsolidiert, um ihre Kompatibilität für nachfolgende Interaktionen zu verbessern; auf dem späten Weg könnten minimale späte vorab trainierte Schichten die Spitzenbelastung des Speicheroverheads verringern und diese recht flexiblen Merkmale in adaptivere und leistungsstärkere Darstellungen für neue Bereiche regulieren. Umfangreiche Ablationen in Vision-und-Sprache- sowie Sprache-nur-Aufgaben zeigen, dass SHERL die Stärken sowohl von parameter- als auch von speichereffizienten Techniken kombiniert und bei der Feinabstimmung über verschiedene Architekturen hinweg mit geringerem Speicher gleichwertig oder besser abschneidet. Unser Code ist öffentlich verfügbar unter: https://github.com/Paranioar/SHERL.

English

Parameter-efficient transfer learning (PETL) has emerged as a flourishing research field for adapting large pre-trained models to downstream tasks, greatly reducing trainable parameters while grappling with memory challenges during fine-tuning. To address it, memory-efficient series (METL) avoid backpropagating gradients through the large backbone. However, they compromise by exclusively relying on frozen intermediate outputs and limiting the exhaustive exploration of prior knowledge from pre-trained models. Moreover, the dependency and redundancy between cross-layer features are frequently overlooked, thereby submerging more discriminative representations and causing an inherent performance gap (vs. conventional PETL methods). Hence, we propose an innovative METL strategy called SHERL for resource-limited scenarios to decouple the entire adaptation into two successive and complementary processes. In the early route, intermediate outputs are consolidated via an anti-redundancy operation, enhancing their compatibility for subsequent interactions; thereby in the late route, utilizing minimal late pre-trained layers could alleviate the peak demand on memory overhead and regulate these fairly flexible features into more adaptive and powerful representations for new domains. Extensive ablations on vision-and-language and language-only tasks show that SHERL combines the strengths of both parameter and memory-efficient techniques, performing on-par or better across diverse architectures with lower memory during fine-tuning. Our code is publicly available at: https://github.com/Paranioar/SHERL.