SHERL: Sintetizando Alta Precisão e Memória Eficiente para Aprendizado por Transferência com Recursos Limitados

SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning

July 10, 2024

Autores: Haiwen Diao, Bo Wan, Xu Jia, Yunzhi Zhuge, Ying Zhang, Huchuan Lu, Long Chen

cs.AI

Resumo

A transferência de aprendizado eficiente em parâmetros (PETL) surgiu como um campo de pesquisa próspero para adaptar grandes modelos pré-treinados a tarefas subsequentes, reduzindo consideravelmente os parâmetros treináveis enquanto lidam com desafios de memória durante o ajuste fino. Para abordar isso, séries eficientes em memória (METL) evitam propagar gradientes através do grande espinha dorsal. No entanto, comprometem-se ao depender exclusivamente de saídas intermediárias congeladas e limitar a exploração exaustiva do conhecimento prévio dos modelos pré-treinados. Além disso, a dependência e redundância entre as características entre camadas são frequentemente negligenciadas, afundando representações mais discriminativas e causando uma lacuna de desempenho inerente (em comparação com métodos PETL convencionais). Portanto, propomos uma estratégia METL inovadora chamada SHERL para cenários com recursos limitados, para desvincular toda a adaptação em dois processos sucessivos e complementares. No caminho inicial, as saídas intermediárias são consolidadas por meio de uma operação antirredundância, aprimorando sua compatibilidade para interações subsequentes; assim, no caminho final, o uso de camadas pré-treinadas tardias mínimas poderia aliviar a demanda máxima de sobrecarga de memória e regular essas características bastante flexíveis em representações mais adaptativas e poderosas para novos domínios. Extensas ablações em tarefas de visão e linguagem e apenas linguagem mostram que o SHERL combina os pontos fortes de técnicas eficientes em parâmetros e memória, apresentando desempenho equivalente ou superior em diversas arquiteturas com menor uso de memória durante o ajuste fino. Nosso código está publicamente disponível em: https://github.com/Paranioar/SHERL.

English

Parameter-efficient transfer learning (PETL) has emerged as a flourishing research field for adapting large pre-trained models to downstream tasks, greatly reducing trainable parameters while grappling with memory challenges during fine-tuning. To address it, memory-efficient series (METL) avoid backpropagating gradients through the large backbone. However, they compromise by exclusively relying on frozen intermediate outputs and limiting the exhaustive exploration of prior knowledge from pre-trained models. Moreover, the dependency and redundancy between cross-layer features are frequently overlooked, thereby submerging more discriminative representations and causing an inherent performance gap (vs. conventional PETL methods). Hence, we propose an innovative METL strategy called SHERL for resource-limited scenarios to decouple the entire adaptation into two successive and complementary processes. In the early route, intermediate outputs are consolidated via an anti-redundancy operation, enhancing their compatibility for subsequent interactions; thereby in the late route, utilizing minimal late pre-trained layers could alleviate the peak demand on memory overhead and regulate these fairly flexible features into more adaptive and powerful representations for new domains. Extensive ablations on vision-and-language and language-only tasks show that SHERL combines the strengths of both parameter and memory-efficient techniques, performing on-par or better across diverse architectures with lower memory during fine-tuning. Our code is publicly available at: https://github.com/Paranioar/SHERL.