MoA : Mélange Hétérogène d'Adaptateurs pour le Réglage Fin Économe en Paramètres des Modèles de Langue de Grande Taille

MoA: Heterogeneous Mixture of Adapters for Parameter-Efficient Fine-Tuning of Large Language Models

June 6, 2025

Auteurs: Jie Cao, Tianwei Lin, Hongyang He, Rolan Yan, Wenqiao Zhang, Juncheng Li, Dongping Zhang, Siliang Tang, Yueting Zhuang

cs.AI

Résumé

Des études récentes intègrent l'Adaptation à Faible Rang (LoRA) et le Modèle de Mélange d'Experts (MoE) pour améliorer davantage les performances des méthodes de réglage fin efficace en paramètres (PEFT) dans les applications de modèles de langage à grande échelle (LLM). Les méthodes existantes utilisent des architectures MoE-LoRA homogènes composées d'experts LoRA ayant des structures et des capacités similaires ou identiques. Cependant, ces approches souffrent souvent d'un effondrement de la représentation et d'un déséquilibre de charge entre les experts, ce qui affecte négativement le potentiel des LLM. Pour relever ces défis, nous proposons une approche hétérogène de Mélange d'Adaptateurs (MoA). Cette méthode intègre dynamiquement des experts d'adaptation PEFT avec des structures diverses, en tirant parti de leurs capacités de représentation complémentaires pour favoriser la spécialisation des experts, améliorant ainsi le transfert efficace des connaissances pré-entraînées vers les tâches en aval. MoA propose deux variantes : (i) Soft MoA réalise une intégration fine en effectuant une fusion pondérée de toutes les sorties des experts ; (ii) Sparse MoA active les experts d'adaptation de manière parcimonieuse en fonction de leur contribution, atteignant cet objectif avec une dégradation de performance négligeable. Les résultats expérimentaux montrent que MoA hétérogène surpasse les méthodes MoE-LoRA homogènes à la fois en termes de performance et d'efficacité en paramètres. Notre projet est disponible à l'adresse https://github.com/DCDmllm/MoA.

English

Recent studies integrate Low-Rank Adaptation (LoRA) and Mixture-of-Experts (MoE) to further enhance the performance of parameter-efficient fine-tuning (PEFT) methods in Large Language Model (LLM) applications. Existing methods employ homogeneous MoE-LoRA architectures composed of LoRA experts with either similar or identical structures and capacities. However, these approaches often suffer from representation collapse and expert load imbalance, which negatively impact the potential of LLMs. To address these challenges, we propose a heterogeneous Mixture-of-Adapters (MoA) approach. This method dynamically integrates PEFT adapter experts with diverse structures, leveraging their complementary representational capabilities to foster expert specialization, thereby enhancing the effective transfer of pre-trained knowledge to downstream tasks. MoA supports two variants: (i) Soft MoA achieves fine-grained integration by performing a weighted fusion of all expert outputs; (ii) Sparse MoA activates adapter experts sparsely based on their contribution, achieving this with negligible performance degradation. Experimental results demonstrate that heterogeneous MoA outperforms homogeneous MoE-LoRA methods in both performance and parameter efficiency. Our project is available at https://github.com/DCDmllm/MoA.