アダプター：パラメータ効率型かつモジュール型の転移学習のための統合ライブラリ

Adapters: A Unified Library for Parameter-Efficient and Modular Transfer Learning

November 18, 2023

著者: Clifton Poth, Hannah Sterz, Indraneil Paul, Sukannya Purkayastha, Leon Engländer, Timo Imhof, Ivan Vulić, Sebastian Ruder, Iryna Gurevych, Jonas Pfeiffer

cs.AI

要旨

本論文では、大規模言語モデルにおけるパラメータ効率的かつモジュール型の転移学習を統合するオープンソースライブラリ「Adapters」を紹介します。10種類の多様なアダプタ手法を統一インターフェースに統合することで、Adaptersは使いやすさと柔軟な設定を提供します。本ライブラリは、研究者や実務者がコンポジションブロックを通じてアダプタのモジュール性を活用し、複雑なアダプタ設定を設計することを可能にします。様々なNLPタスクにおいて、フルファインチューニングとの性能比較を行うことで、本ライブラリの有効性を実証します。Adaptersは、従来のファインチューニングパラダイムの課題に対処し、より効率的でモジュール型の転移学習を促進する強力なツールを提供します。本ライブラリはhttps://adapterhub.ml/adaptersで公開されています。

English

We introduce Adapters, an open-source library that unifies parameter-efficient and modular transfer learning in large language models. By integrating 10 diverse adapter methods into a unified interface, Adapters offers ease of use and flexible configuration. Our library allows researchers and practitioners to leverage adapter modularity through composition blocks, enabling the design of complex adapter setups. We demonstrate the library's efficacy by evaluating its performance against full fine-tuning on various NLP tasks. Adapters provides a powerful tool for addressing the challenges of conventional fine-tuning paradigms and promoting more efficient and modular transfer learning. The library is available via https://adapterhub.ml/adapters.