COMPASS: PEFT Multilíngue Contínuo com Amostragem Semântica Adaptativa
COMPASS: COntinual Multilingual PEFT with Adaptive Semantic Sampling
April 22, 2026
Autores: Noah Flynn
cs.AI
Resumo
Os grandes modelos de linguagem (LLMs) frequentemente exibem disparidades de desempenho entre idiomas, com o *fine-tuning* multilíngue ingênuo degradando frequentemente o desempenho devido à interferência cruzada negativa entre línguas. Para resolver isso, introduzimos o COMPASS (*COntinual Multilingual PEFT with Adaptive Semantic Sampling*), uma nova estrutura centrada em dados para adaptar LLMs a idiomas-alvo. O COMPASS aproveita o *fine-tuning* eficiente em parâmetros (PEFT) treinando adaptadores leves e específicos por idioma em um subconjunto criteriosamente selecionado de dados multilíngues auxiliares. O cerne do nosso método é uma estratégia de amostragem consciente da distribuição que usa *embeddings* multilíngues e agrupamento para identificar lacunas semânticas entre os dados de treinamento existentes e uma distribuição de uso alvo. Ao priorizar dados auxiliares de clusters semânticos sub-representados, o COMPASS maximiza a transferência linguística cruzada positiva enquanto minimiza a interferência. Estendemos isso para uma estrutura de aprendizado contínuo, COMPASS-ECDA, que monitora mudanças na distribuição de dados em produção e atualiza dinamicamente os adaptadores para evitar a obsolescência do modelo, equilibrando a adaptação a novos dados com a preservação do conhecimento existente. Em três arquiteturas de modelo diferentes (Phi-4-Mini, Llama-3.1-8B e Qwen2.5-7B) e vários benchmarks multilíngues desafiadores (Global-MMLU, MMLU-ProX), incluindo tarefas de contexto longo não vistas durante o treinamento (OneRuler), demonstramos que o COMPASS supera consistentemente os métodos de base guiados por similaridade linguística, fornecendo uma solução eficaz, eficiente e sustentável para desenvolver e manter modelos multilíngues de alto desempenho em ambientes dinâmicos.
English
Large language models (LLMs) often exhibit performance disparities across languages, with naive multilingual fine-tuning frequently degrading performance due to negative cross-lingual interference. To address this, we introduce COMPASS (COntinual Multilingual PEFT with Adaptive Semantic Sampling), a novel data-centric framework for adapting LLMs to target languages. COMPASS leverages parameter-efficient fine-tuning (PEFT) by training lightweight, language-specific adapters on a judiciously selected subset of auxiliary multilingual data. The core of our method is a distribution-aware sampling strategy that uses multilingual embeddings and clustering to identify semantic gaps between existing training data and a target usage distribution. By prioritizing auxiliary data from under-represented semantic clusters, COMPASS maximizes positive cross-lingual transfer while minimizing interference. We extend this into a continual learning framework, COMPASS-ECDA, which monitors for data distribution shifts in production and dynamically updates adapters to prevent model staleness, balancing adaptation to new data with the preservation of existing knowledge. Across three different model architectures (Phi-4-Mini, Llama-3.1-8B, and Qwen2.5-7B) and multiple challenging multilingual benchmarks (Global-MMLU, MMLU-ProX), including unseen long-context tasks (OneRuler), we demonstrate that COMPASS consistently outperforms baseline methods guided by linguistic similarity, providing an effective, efficient, and sustainable solution for developing and maintaining high-performing multilingual models in dynamic environments.