MoA: Mistura Heterogênea de Adaptadores para Ajuste Fino Eficiente em Parâmetros de Modelos de Linguagem de Grande Escala

MoA: Heterogeneous Mixture of Adapters for Parameter-Efficient Fine-Tuning of Large Language Models

June 6, 2025

Autores: Jie Cao, Tianwei Lin, Hongyang He, Rolan Yan, Wenqiao Zhang, Juncheng Li, Dongping Zhang, Siliang Tang, Yueting Zhuang

cs.AI

Resumo

Estudos recentes integram a Adaptação de Baixa Classificação (LoRA) e a Mistura de Especialistas (MoE) para aprimorar ainda mais o desempenho de métodos de ajuste fino eficiente em parâmetros (PEFT) em aplicações de Modelos de Linguagem de Grande Escala (LLM). Os métodos existentes empregam arquiteturas homogêneas MoE-LoRA compostas por especialistas LoRA com estruturas e capacidades semelhantes ou idênticas. No entanto, essas abordagens frequentemente sofrem com colapso de representação e desequilíbrio de carga entre especialistas, o que impacta negativamente o potencial dos LLMs. Para enfrentar esses desafios, propomos uma abordagem heterogênea de Mistura de Adaptadores (MoA). Este método integra dinamicamente especialistas adaptadores PEFT com estruturas diversas, aproveitando suas capacidades representacionais complementares para promover a especialização dos especialistas, melhorando assim a transferência eficaz de conhecimento pré-treinado para tarefas subsequentes. O MoA suporta duas variantes: (i) o Soft MoA, que realiza uma integração refinada por meio de uma fusão ponderada de todas as saídas dos especialistas; (ii) o Sparse MoA, que ativa os especialistas adaptadores de forma esparsa com base em sua contribuição, alcançando isso com degradação de desempenho insignificante. Resultados experimentais demonstram que o MoA heterogêneo supera os métodos homogêneos MoE-LoRA tanto em desempenho quanto em eficiência de parâmetros. Nosso projeto está disponível em https://github.com/DCDmllm/MoA.

English

Recent studies integrate Low-Rank Adaptation (LoRA) and Mixture-of-Experts (MoE) to further enhance the performance of parameter-efficient fine-tuning (PEFT) methods in Large Language Model (LLM) applications. Existing methods employ homogeneous MoE-LoRA architectures composed of LoRA experts with either similar or identical structures and capacities. However, these approaches often suffer from representation collapse and expert load imbalance, which negatively impact the potential of LLMs. To address these challenges, we propose a heterogeneous Mixture-of-Adapters (MoA) approach. This method dynamically integrates PEFT adapter experts with diverse structures, leveraging their complementary representational capabilities to foster expert specialization, thereby enhancing the effective transfer of pre-trained knowledge to downstream tasks. MoA supports two variants: (i) Soft MoA achieves fine-grained integration by performing a weighted fusion of all expert outputs; (ii) Sparse MoA activates adapter experts sparsely based on their contribution, achieving this with negligible performance degradation. Experimental results demonstrate that heterogeneous MoA outperforms homogeneous MoE-LoRA methods in both performance and parameter efficiency. Our project is available at https://github.com/DCDmllm/MoA.