Adapter: Eine einheitliche Bibliothek für parameter-effizientes und modulares Transferlernen

Zusammenfassung

Wir stellen Adapters vor, eine Open-Source-Bibliothek, die parameter-effizientes und modulares Transferlernen in großen Sprachmodellen vereinheitlicht. Durch die Integration von 10 verschiedenen Adapter-Methoden in eine einheitliche Schnittstelle bietet Adapters einfache Handhabung und flexible Konfiguration. Unsere Bibliothek ermöglicht es Forschern und Praktikern, die Modularität von Adaptern durch Kompositionsblöcke zu nutzen, wodurch die Gestaltung komplexer Adapter-Setups ermöglicht wird. Wir demonstrieren die Wirksamkeit der Bibliothek, indem wir ihre Leistung im Vergleich zum vollständigen Fine-Tuning bei verschiedenen NLP-Aufgaben evaluieren. Adapters bietet ein leistungsstarkes Werkzeug, um die Herausforderungen herkömmlicher Fine-Tuning-Paradigmen zu bewältigen und effizienteres und modulareres Transferlernen zu fördern. Die Bibliothek ist unter https://adapterhub.ml/adapters verfügbar.

English

We introduce Adapters, an open-source library that unifies parameter-efficient and modular transfer learning in large language models. By integrating 10 diverse adapter methods into a unified interface, Adapters offers ease of use and flexible configuration. Our library allows researchers and practitioners to leverage adapter modularity through composition blocks, enabling the design of complex adapter setups. We demonstrate the library's efficacy by evaluating its performance against full fine-tuning on various NLP tasks. Adapters provides a powerful tool for addressing the challenges of conventional fine-tuning paradigms and promoting more efficient and modular transfer learning. The library is available via https://adapterhub.ml/adapters.

Adapter: Eine einheitliche Bibliothek für parameter-effizientes und modulares Transferlernen

Adapters: A Unified Library for Parameter-Efficient and Modular Transfer Learning

Zusammenfassung

Support