Адаптеры: Унифицированная библиотека для параметрически эффективного и модульного трансферного обучения

Adapters: A Unified Library for Parameter-Efficient and Modular Transfer Learning

November 18, 2023

Авторы: Clifton Poth, Hannah Sterz, Indraneil Paul, Sukannya Purkayastha, Leon Engländer, Timo Imhof, Ivan Vulić, Sebastian Ruder, Iryna Gurevych, Jonas Pfeiffer

cs.AI

Аннотация

Мы представляем Adapters — библиотеку с открытым исходным кодом, которая объединяет параметрически эффективное и модульное трансферное обучение в больших языковых моделях. Интегрируя 10 различных методов адаптеров в единый интерфейс, Adapters обеспечивает простоту использования и гибкую настройку. Наша библиотека позволяет исследователям и практикам использовать модульность адаптеров через композиционные блоки, что упрощает проектирование сложных конфигураций адаптеров. Мы демонстрируем эффективность библиотеки, оценивая её производительность в сравнении с полным тонкой настройкой на различных задачах обработки естественного языка. Adapters предоставляет мощный инструмент для решения проблем традиционных подходов к тонкой настройке и способствует более эффективному и модульному трансферному обучению. Библиотека доступна по адресу https://adapterhub.ml/adapters.

English

We introduce Adapters, an open-source library that unifies parameter-efficient and modular transfer learning in large language models. By integrating 10 diverse adapter methods into a unified interface, Adapters offers ease of use and flexible configuration. Our library allows researchers and practitioners to leverage adapter modularity through composition blocks, enabling the design of complex adapter setups. We demonstrate the library's efficacy by evaluating its performance against full fine-tuning on various NLP tasks. Adapters provides a powerful tool for addressing the challenges of conventional fine-tuning paradigms and promoting more efficient and modular transfer learning. The library is available via https://adapterhub.ml/adapters.