어댑터: 매개변수 효율적이고 모듈식 전이 학습을 위한 통합 라이브러리

초록

우리는 대규모 언어 모델에서 파라미터 효율적이고 모듈식 전이 학습을 통합하는 오픈소스 라이브러리인 Adapters를 소개합니다. Adapters는 10가지 다양한 어댑터 방법을 통합된 인터페이스로 제공하여 사용의 편의성과 유연한 구성을 가능하게 합니다. 본 라이브러리는 연구자와 실무자가 컴포지션 블록을 통해 어댑터의 모듈성을 활용할 수 있도록 하여 복잡한 어댑터 설정을 설계할 수 있게 합니다. 우리는 다양한 NLP 작업에서 전체 파인튜닝과의 성능 비교를 통해 라이브러리의 효용성을 입증합니다. Adapters는 기존 파인튜닝 패러다임의 문제를 해결하고 더 효율적이고 모듈식인 전이 학습을 촉진하는 강력한 도구를 제공합니다. 이 라이브러리는 https://adapterhub.ml/adapters에서 이용 가능합니다.

English

We introduce Adapters, an open-source library that unifies parameter-efficient and modular transfer learning in large language models. By integrating 10 diverse adapter methods into a unified interface, Adapters offers ease of use and flexible configuration. Our library allows researchers and practitioners to leverage adapter modularity through composition blocks, enabling the design of complex adapter setups. We demonstrate the library's efficacy by evaluating its performance against full fine-tuning on various NLP tasks. Adapters provides a powerful tool for addressing the challenges of conventional fine-tuning paradigms and promoting more efficient and modular transfer learning. The library is available via https://adapterhub.ml/adapters.

어댑터: 매개변수 효율적이고 모듈식 전이 학습을 위한 통합 라이브러리

Adapters: A Unified Library for Parameter-Efficient and Modular Transfer Learning

초록

Support