ChatPaper.aiChatPaper

MoA: Miscela Eterogenea di Adattatori per il Fine-Tuning Efficiente in Parametri di Modelli Linguistici di Grandi Dimensioni

MoA: Heterogeneous Mixture of Adapters for Parameter-Efficient Fine-Tuning of Large Language Models

June 6, 2025
Autori: Jie Cao, Tianwei Lin, Hongyang He, Rolan Yan, Wenqiao Zhang, Juncheng Li, Dongping Zhang, Siliang Tang, Yueting Zhuang
cs.AI

Abstract

Studi recenti integrano l'Adattamento a Basso Rango (LoRA) e il Modello a Miscela di Esperti (MoE) per migliorare ulteriormente le prestazioni dei metodi di fine-tuning efficiente in termini di parametri (PEFT) nelle applicazioni dei Modelli Linguistici di Grande Dimensione (LLM). I metodi esistenti impiegano architetture MoE-LoRA omogenee composte da esperti LoRA con strutture e capacità simili o identiche. Tuttavia, questi approcci spesso soffrono di collasso della rappresentazione e di squilibrio nel carico degli esperti, che influiscono negativamente sul potenziale degli LLM. Per affrontare queste sfide, proponiamo un approccio eterogeneo chiamato Miscela di Adattatori (MoA). Questo metodo integra dinamicamente esperti adattatori PEFT con strutture diverse, sfruttando le loro capacità rappresentative complementari per favorire la specializzazione degli esperti, migliorando così il trasferimento efficace delle conoscenze pre-addestrate ai task downstream. MoA supporta due varianti: (i) Soft MoA ottiene un'integrazione fine eseguendo una fusione ponderata di tutti gli output degli esperti; (ii) Sparse MoA attiva in modo sparso gli esperti adattatori in base al loro contributo, raggiungendo questo obiettivo con un degrado delle prestazioni trascurabile. I risultati sperimentali dimostrano che MoA eterogeneo supera i metodi MoE-LoRA omogenei sia in termini di prestazioni che di efficienza dei parametri. Il nostro progetto è disponibile all'indirizzo https://github.com/DCDmllm/MoA.
English
Recent studies integrate Low-Rank Adaptation (LoRA) and Mixture-of-Experts (MoE) to further enhance the performance of parameter-efficient fine-tuning (PEFT) methods in Large Language Model (LLM) applications. Existing methods employ homogeneous MoE-LoRA architectures composed of LoRA experts with either similar or identical structures and capacities. However, these approaches often suffer from representation collapse and expert load imbalance, which negatively impact the potential of LLMs. To address these challenges, we propose a heterogeneous Mixture-of-Adapters (MoA) approach. This method dynamically integrates PEFT adapter experts with diverse structures, leveraging their complementary representational capabilities to foster expert specialization, thereby enhancing the effective transfer of pre-trained knowledge to downstream tasks. MoA supports two variants: (i) Soft MoA achieves fine-grained integration by performing a weighted fusion of all expert outputs; (ii) Sparse MoA activates adapter experts sparsely based on their contribution, achieving this with negligible performance degradation. Experimental results demonstrate that heterogeneous MoA outperforms homogeneous MoE-LoRA methods in both performance and parameter efficiency. Our project is available at https://github.com/DCDmllm/MoA.
PDF42June 11, 2025