Adaptateurs : Une Bibliothèque Unifiée pour l'Apprentissage par Transfert Modulaire et Efficace en Paramètres

Résumé

Nous présentons Adapters, une bibliothèque open-source qui unifie l'apprentissage par transfert paramétriquement efficace et modulaire dans les grands modèles de langage. En intégrant 10 méthodes d'adaptation diverses dans une interface unifiée, Adapters offre une facilité d'utilisation et une configuration flexible. Notre bibliothèque permet aux chercheurs et aux praticiens d'exploiter la modularité des adaptateurs grâce à des blocs de composition, permettant la conception de configurations d'adaptation complexes. Nous démontrons l'efficacité de la bibliothèque en évaluant ses performances par rapport au réglage fin complet sur diverses tâches de TAL. Adapters fournit un outil puissant pour relever les défis des paradigmes de réglage fin conventionnels et promouvoir un apprentissage par transfert plus efficace et modulaire. La bibliothèque est disponible via https://adapterhub.ml/adapters.

English

We introduce Adapters, an open-source library that unifies parameter-efficient and modular transfer learning in large language models. By integrating 10 diverse adapter methods into a unified interface, Adapters offers ease of use and flexible configuration. Our library allows researchers and practitioners to leverage adapter modularity through composition blocks, enabling the design of complex adapter setups. We demonstrate the library's efficacy by evaluating its performance against full fine-tuning on various NLP tasks. Adapters provides a powerful tool for addressing the challenges of conventional fine-tuning paradigms and promoting more efficient and modular transfer learning. The library is available via https://adapterhub.ml/adapters.

Adaptateurs : Une Bibliothèque Unifiée pour l'Apprentissage par Transfert Modulaire et Efficace en Paramètres

Adapters: A Unified Library for Parameter-Efficient and Modular Transfer Learning

Résumé

Support