MoA: Heterogenes Gemisch von Adaptern zur parameter-effizienten Feinabstimmung großer Sprachmodelle

MoA: Heterogeneous Mixture of Adapters for Parameter-Efficient Fine-Tuning of Large Language Models

June 6, 2025

Autoren: Jie Cao, Tianwei Lin, Hongyang He, Rolan Yan, Wenqiao Zhang, Juncheng Li, Dongping Zhang, Siliang Tang, Yueting Zhuang

cs.AI

Zusammenfassung

Aktuelle Studien integrieren Low-Rank Adaptation (LoRA) und Mixture-of-Experts (MoE), um die Leistung parameter-effizienter Feinabstimmungsmethoden (PEFT) in Anwendungen großer Sprachmodelle (LLMs) weiter zu verbessern. Bestehende Methoden verwenden homogene MoE-LoRA-Architekturen, die aus LoRA-Experten mit entweder ähnlichen oder identischen Strukturen und Kapazitäten bestehen. Diese Ansätze leiden jedoch häufig unter Repräsentationskollaps und Expertenlastungleichgewichten, was das Potenzial von LLMs negativ beeinflusst. Um diese Herausforderungen zu bewältigen, schlagen wir einen heterogenen Mixture-of-Adapters (MoA)-Ansatz vor. Diese Methode integriert dynamisch PEFT-Adapterexperten mit unterschiedlichen Strukturen und nutzt deren komplementäre Repräsentationsfähigkeiten, um die Spezialisierung der Experten zu fördern und dadurch die effektive Übertragung von vortrainiertem Wissen auf nachgelagerte Aufgaben zu verbessern. MoA unterstützt zwei Varianten: (i) Soft MoA erreicht eine fein abgestimmte Integration durch eine gewichtete Fusion aller Expertenausgaben; (ii) Sparse MoA aktiviert Adapterexperten spärlich basierend auf ihrem Beitrag, was mit vernachlässigbarer Leistungsbeeinträchtigung erreicht wird. Experimentelle Ergebnisse zeigen, dass heterogene MoA-Methoden sowohl in der Leistung als auch in der Parameter-Effizienz homogene MoE-LoRA-Methoden übertreffen. Unser Projekt ist verfügbar unter https://github.com/DCDmllm/MoA.

English

Recent studies integrate Low-Rank Adaptation (LoRA) and Mixture-of-Experts (MoE) to further enhance the performance of parameter-efficient fine-tuning (PEFT) methods in Large Language Model (LLM) applications. Existing methods employ homogeneous MoE-LoRA architectures composed of LoRA experts with either similar or identical structures and capacities. However, these approaches often suffer from representation collapse and expert load imbalance, which negatively impact the potential of LLMs. To address these challenges, we propose a heterogeneous Mixture-of-Adapters (MoA) approach. This method dynamically integrates PEFT adapter experts with diverse structures, leveraging their complementary representational capabilities to foster expert specialization, thereby enhancing the effective transfer of pre-trained knowledge to downstream tasks. MoA supports two variants: (i) Soft MoA achieves fine-grained integration by performing a weighted fusion of all expert outputs; (ii) Sparse MoA activates adapter experts sparsely based on their contribution, achieving this with negligible performance degradation. Experimental results demonstrate that heterogeneous MoA outperforms homogeneous MoE-LoRA methods in both performance and parameter efficiency. Our project is available at https://github.com/DCDmllm/MoA.