Adaptadores: Uma Biblioteca Unificada para Aprendizado de Transferência Eficiente em Parâmetros e Modular

Adapters: A Unified Library for Parameter-Efficient and Modular Transfer Learning

November 18, 2023

Autores: Clifton Poth, Hannah Sterz, Indraneil Paul, Sukannya Purkayastha, Leon Engländer, Timo Imhof, Ivan Vulić, Sebastian Ruder, Iryna Gurevych, Jonas Pfeiffer

cs.AI

Resumo

Apresentamos o Adapters, uma biblioteca de código aberto que unifica o aprendizado de transferência modular e eficiente em parâmetros em modelos de linguagem de grande escala. Ao integrar 10 métodos diversos de adaptadores em uma interface unificada, o Adapters oferece facilidade de uso e configuração flexível. Nossa biblioteca permite que pesquisadores e profissionais aproveitem a modularidade dos adaptadores por meio de blocos de composição, possibilitando o design de configurações complexas de adaptadores. Demonstramos a eficácia da biblioteca avaliando seu desempenho em comparação com o ajuste fino completo em várias tarefas de PLN. O Adapters fornece uma ferramenta poderosa para enfrentar os desafios dos paradigmas convencionais de ajuste fino e promover um aprendizado de transferência mais eficiente e modular. A biblioteca está disponível em https://adapterhub.ml/adapters.

English

We introduce Adapters, an open-source library that unifies parameter-efficient and modular transfer learning in large language models. By integrating 10 diverse adapter methods into a unified interface, Adapters offers ease of use and flexible configuration. Our library allows researchers and practitioners to leverage adapter modularity through composition blocks, enabling the design of complex adapter setups. We demonstrate the library's efficacy by evaluating its performance against full fine-tuning on various NLP tasks. Adapters provides a powerful tool for addressing the challenges of conventional fine-tuning paradigms and promoting more efficient and modular transfer learning. The library is available via https://adapterhub.ml/adapters.