SHERL: Синтез высокой точности и эффективной памяти для передачи обучения с ограниченными ресурсами

SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning

July 10, 2024

Авторы: Haiwen Diao, Bo Wan, Xu Jia, Yunzhi Zhuge, Ying Zhang, Huchuan Lu, Long Chen

cs.AI

Аннотация

Передача знаний с минимальным количеством параметров (PETL) стала процветающим исследовательским направлением для адаптации крупных предварительно обученных моделей к последующим задачам, значительно сокращая количество обучаемых параметров и решая проблемы с памятью во время настройки. Для решения этой проблемы серии с памятью (METL) избегают обратного распространения градиентов через крупный основной блок. Однако они идут на компромисс, полностью полагаясь на замороженные промежуточные выходы и ограничивая исчерпывающее исследование предварительных знаний из предварительно обученных моделей. Более того, зависимость и избыточность между признаками межслойного взаимодействия часто игнорируются, что приводит к погружению более дискриминативных представлений и вызывает врожденный разрыв в производительности (по сравнению с традиционными методами PETL). Поэтому мы предлагаем инновационную стратегию METL под названием SHERL для сценариев с ограниченными ресурсами, чтобы разделить всю адаптацию на два последовательных и взаимодополняющих процесса. На раннем этапе промежуточные выходы объединяются с помощью операции против избыточности, улучшая их совместимость для последующего взаимодействия; таким образом, на позднем этапе использование минимального количества поздних предварительно обученных слоев могло бы смягчить пиковую нагрузку на память и преобразовать эти достаточно гибкие признаки в более адаптивные и мощные представления для новых областей. Обширные анализы на задачах видео и языка и только языковых задачах показывают, что SHERL объединяет преимущества как параметрических, так и память-эффективных техник, проявляя себя на уровне или лучше по различным архитектурам с меньшим объемом памяти во время настройки. Наш код доступен публично по ссылке: https://github.com/Paranioar/SHERL.

English

Parameter-efficient transfer learning (PETL) has emerged as a flourishing research field for adapting large pre-trained models to downstream tasks, greatly reducing trainable parameters while grappling with memory challenges during fine-tuning. To address it, memory-efficient series (METL) avoid backpropagating gradients through the large backbone. However, they compromise by exclusively relying on frozen intermediate outputs and limiting the exhaustive exploration of prior knowledge from pre-trained models. Moreover, the dependency and redundancy between cross-layer features are frequently overlooked, thereby submerging more discriminative representations and causing an inherent performance gap (vs. conventional PETL methods). Hence, we propose an innovative METL strategy called SHERL for resource-limited scenarios to decouple the entire adaptation into two successive and complementary processes. In the early route, intermediate outputs are consolidated via an anti-redundancy operation, enhancing their compatibility for subsequent interactions; thereby in the late route, utilizing minimal late pre-trained layers could alleviate the peak demand on memory overhead and regulate these fairly flexible features into more adaptive and powerful representations for new domains. Extensive ablations on vision-and-language and language-only tasks show that SHERL combines the strengths of both parameter and memory-efficient techniques, performing on-par or better across diverse architectures with lower memory during fine-tuning. Our code is publicly available at: https://github.com/Paranioar/SHERL.