Adaptadores: Una Biblioteca Unificada para el Aprendizaje por Transferencia Eficiente en Parámetros y Modular

Resumen

Presentamos Adapters, una biblioteca de código abierto que unifica el aprendizaje transferible eficiente en parámetros y modular en modelos de lenguaje a gran escala. Al integrar 10 métodos diversos de adaptadores en una interfaz unificada, Adapters ofrece facilidad de uso y configuración flexible. Nuestra biblioteca permite a investigadores y profesionales aprovechar la modularidad de los adaptadores mediante bloques de composición, posibilitando el diseño de configuraciones complejas de adaptadores. Demostramos la eficacia de la biblioteca evaluando su rendimiento frente al ajuste fino completo en diversas tareas de PLN. Adapters proporciona una herramienta poderosa para abordar los desafíos de los paradigmas convencionales de ajuste fino y promover un aprendizaje transferible más eficiente y modular. La biblioteca está disponible en https://adapterhub.ml/adapters.

English

We introduce Adapters, an open-source library that unifies parameter-efficient and modular transfer learning in large language models. By integrating 10 diverse adapter methods into a unified interface, Adapters offers ease of use and flexible configuration. Our library allows researchers and practitioners to leverage adapter modularity through composition blocks, enabling the design of complex adapter setups. We demonstrate the library's efficacy by evaluating its performance against full fine-tuning on various NLP tasks. Adapters provides a powerful tool for addressing the challenges of conventional fine-tuning paradigms and promoting more efficient and modular transfer learning. The library is available via https://adapterhub.ml/adapters.

Adaptadores: Una Biblioteca Unificada para el Aprendizaje por Transferencia Eficiente en Parámetros y Modular

Adapters: A Unified Library for Parameter-Efficient and Modular Transfer Learning

Resumen

Support