MoA: Heterogene Mengsel van Adapters voor Parameter-Efficiënte Fine-Tuning van Grote Taalmodellen

MoA: Heterogeneous Mixture of Adapters for Parameter-Efficient Fine-Tuning of Large Language Models

June 6, 2025

Auteurs: Jie Cao, Tianwei Lin, Hongyang He, Rolan Yan, Wenqiao Zhang, Juncheng Li, Dongping Zhang, Siliang Tang, Yueting Zhuang

cs.AI

Samenvatting

Recente studies integreren Low-Rank Adaptation (LoRA) en Mixture-of-Experts (MoE) om de prestaties van parameter-efficiënte fine-tuningmethoden (PEFT) in toepassingen van Large Language Models (LLM) verder te verbeteren. Bestaande methoden gebruiken homogene MoE-LoRA-architecturen die bestaan uit LoRA-experts met vergelijkbare of identieke structuren en capaciteiten. Deze benaderingen hebben echter vaak last van representatiecollaps en onbalans in de belasting van experts, wat een negatieve invloed heeft op het potentieel van LLM's. Om deze uitdagingen aan te pakken, stellen we een heterogene Mixture-of-Adapters (MoA)-benadering voor. Deze methode integreert dynamisch PEFT-adapterexperts met diverse structuren, waarbij gebruik wordt gemaakt van hun complementaire representatiecapaciteiten om expertspecialisatie te bevorderen, waardoor de effectieve overdracht van vooraf getrainde kennis naar downstream taken wordt verbeterd. MoA ondersteunt twee varianten: (i) Soft MoA bereikt een fijnmazige integratie door een gewogen fusie van alle expertoutputs uit te voeren; (ii) Sparse MoA activeert adapterexperts spaarzaam op basis van hun bijdrage, wat wordt bereikt met verwaarloosbare prestatievermindering. Experimentele resultaten tonen aan dat heterogene MoA zowel in prestaties als parameter-efficiëntie beter presteert dan homogene MoE-LoRA-methoden. Ons project is beschikbaar op https://github.com/DCDmllm/MoA.

English

Recent studies integrate Low-Rank Adaptation (LoRA) and Mixture-of-Experts (MoE) to further enhance the performance of parameter-efficient fine-tuning (PEFT) methods in Large Language Model (LLM) applications. Existing methods employ homogeneous MoE-LoRA architectures composed of LoRA experts with either similar or identical structures and capacities. However, these approaches often suffer from representation collapse and expert load imbalance, which negatively impact the potential of LLMs. To address these challenges, we propose a heterogeneous Mixture-of-Adapters (MoA) approach. This method dynamically integrates PEFT adapter experts with diverse structures, leveraging their complementary representational capabilities to foster expert specialization, thereby enhancing the effective transfer of pre-trained knowledge to downstream tasks. MoA supports two variants: (i) Soft MoA achieves fine-grained integration by performing a weighted fusion of all expert outputs; (ii) Sparse MoA activates adapter experts sparsely based on their contribution, achieving this with negligible performance degradation. Experimental results demonstrate that heterogeneous MoA outperforms homogeneous MoE-LoRA methods in both performance and parameter efficiency. Our project is available at https://github.com/DCDmllm/MoA.