MoA: 大規模言語モデルのパラメータ効率の良いファインチューニングのためのアダプターの異種混合

MoA: Heterogeneous Mixture of Adapters for Parameter-Efficient Fine-Tuning of Large Language Models

June 6, 2025

著者: Jie Cao, Tianwei Lin, Hongyang He, Rolan Yan, Wenqiao Zhang, Juncheng Li, Dongping Zhang, Siliang Tang, Yueting Zhuang

cs.AI

要旨

近年の研究では、Low-Rank Adaptation (LoRA) と Mixture-of-Experts (MoE) を統合し、大規模言語モデル (LLM) アプリケーションにおけるパラメータ効率の良いファインチューニング (PEFT) 手法の性能をさらに向上させることが試みられている。既存の手法では、類似または同一の構造と容量を持つ LoRA エキスパートで構成される均質な MoE-LoRA アーキテクチャが採用されている。しかし、これらのアプローチはしばしば表現の崩壊やエキスパートの負荷不均衡を引き起こし、LLM の潜在能力に悪影響を及ぼす。これらの課題に対処するため、我々は異種 Mixture-of-Adapters (MoA) アプローチを提案する。この手法は、多様な構造を持つ PEFT アダプターエキスパートを動的に統合し、それらの補完的な表現能力を活用してエキスパートの専門化を促進し、事前学習された知識の下流タスクへの効果的な転移を向上させる。MoA は2つのバリエーションをサポートする：(i) Soft MoA は、全てのエキスパート出力の重み付き融合を行うことで細かい統合を実現する；(ii) Sparse MoA は、エキスパートの貢献度に基づいてアダプターエキスパートを疎に活性化し、性能の低下をほとんど伴わずにこれを達成する。実験結果は、異種 MoA が均質な MoE-LoRA 手法を性能とパラメータ効率の両面で上回ることを示している。本プロジェクトは https://github.com/DCDmllm/MoA で公開されている。

English

Recent studies integrate Low-Rank Adaptation (LoRA) and Mixture-of-Experts (MoE) to further enhance the performance of parameter-efficient fine-tuning (PEFT) methods in Large Language Model (LLM) applications. Existing methods employ homogeneous MoE-LoRA architectures composed of LoRA experts with either similar or identical structures and capacities. However, these approaches often suffer from representation collapse and expert load imbalance, which negatively impact the potential of LLMs. To address these challenges, we propose a heterogeneous Mixture-of-Adapters (MoA) approach. This method dynamically integrates PEFT adapter experts with diverse structures, leveraging their complementary representational capabilities to foster expert specialization, thereby enhancing the effective transfer of pre-trained knowledge to downstream tasks. MoA supports two variants: (i) Soft MoA achieves fine-grained integration by performing a weighted fusion of all expert outputs; (ii) Sparse MoA activates adapter experts sparsely based on their contribution, achieving this with negligible performance degradation. Experimental results demonstrate that heterogeneous MoA outperforms homogeneous MoE-LoRA methods in both performance and parameter efficiency. Our project is available at https://github.com/DCDmllm/MoA.