Adapters: Een Uniforme Bibliotheek voor Parameter-Efficiënt en Modulair Transferleren

Samenvatting

We introduceren Adapters, een open-source bibliotheek die parameter-efficiënte en modulaire transfer learning in grote taalmodellen verenigt. Door 10 diverse adaptermethoden te integreren in een uniforme interface, biedt Adapters gebruiksgemak en flexibele configuratie. Onze bibliotheek stelt onderzoekers en praktijkmensen in staat om de modulariteit van adapters te benutten via compositieblokken, waardoor het ontwerpen van complexe adapteropstellingen mogelijk wordt. We demonstreren de effectiviteit van de bibliotheek door de prestaties ervan te evalueren tegenover volledige fine-tuning op diverse NLP-taken. Adapters biedt een krachtig hulpmiddel om de uitdagingen van conventionele fine-tuning paradigma's aan te pakken en efficiënter en modulairder transfer learning te bevorderen. De bibliotheek is beschikbaar via https://adapterhub.ml/adapters.

English

We introduce Adapters, an open-source library that unifies parameter-efficient and modular transfer learning in large language models. By integrating 10 diverse adapter methods into a unified interface, Adapters offers ease of use and flexible configuration. Our library allows researchers and practitioners to leverage adapter modularity through composition blocks, enabling the design of complex adapter setups. We demonstrate the library's efficacy by evaluating its performance against full fine-tuning on various NLP tasks. Adapters provides a powerful tool for addressing the challenges of conventional fine-tuning paradigms and promoting more efficient and modular transfer learning. The library is available via https://adapterhub.ml/adapters.

Adapters: Een Uniforme Bibliotheek voor Parameter-Efficiënt en Modulair Transferleren

Adapters: A Unified Library for Parameter-Efficient and Modular Transfer Learning

Samenvatting

Support