COMPASS: PEFT Multilingüe Continuo con Muestreo Semántico Adaptativo
COMPASS: COntinual Multilingual PEFT with Adaptive Semantic Sampling
April 22, 2026
Autores: Noah Flynn
cs.AI
Resumen
Los modelos de lenguaje grandes (LLM) a menudo presentan disparidades de rendimiento entre idiomas, donde el ajuste fino multilingüe ingenuo frecuentemente degrada el rendimiento debido a la interferencia cruzada negativa. Para abordar este problema, presentamos COMPASS (COntinual Multilingual PEFT with Adaptive Semantic Sampling), un novedoso marco de trabajo centrado en los datos para adaptar LLMs a idiomas objetivo. COMPASS aprovecha el ajuste fino eficiente en parámetros (PEFT) mediante el entrenamiento de adaptadores ligeros y específicos por idioma en un subconjunto seleccionado juiciosamente de datos multilingües auxiliares. El núcleo de nuestro método es una estrategia de muestreo consciente de la distribución que utiliza embeddings multilingües y agrupamiento para identificar brechas semánticas entre los datos de entrenamiento existentes y una distribución de uso objetivo. Al priorizar datos auxiliares de los clústeres semánticos menos representados, COMPASS maximiza la transferencia cruzada positiva mientras minimiza la interferencia. Extendemos esto a un marco de aprendizaje continuo, COMPASS-ECDA, que monitorea los cambios en la distribución de datos en producción y actualiza dinámicamente los adaptadores para prevenir el desfase del modelo, equilibrando la adaptación a nuevos datos con la preservación del conocimiento existente. A través de tres arquitecturas de modelo diferentes (Phi-4-Mini, Llama-3.1-8B y Qwen2.5-7B) y múltiples puntos de referencia multilingües desafiantes (Global-MMLU, MMLU-ProX), incluyendo tareas de contexto largo no vistas durante el entrenamiento (OneRuler), demostramos que COMPASS supera consistentemente a los métodos base guiados por similitud lingüística, proporcionando una solución efectiva, eficiente y sostenible para desarrollar y mantener modelos multilingües de alto rendimiento en entornos dinámicos.
English
Large language models (LLMs) often exhibit performance disparities across languages, with naive multilingual fine-tuning frequently degrading performance due to negative cross-lingual interference. To address this, we introduce COMPASS (COntinual Multilingual PEFT with Adaptive Semantic Sampling), a novel data-centric framework for adapting LLMs to target languages. COMPASS leverages parameter-efficient fine-tuning (PEFT) by training lightweight, language-specific adapters on a judiciously selected subset of auxiliary multilingual data. The core of our method is a distribution-aware sampling strategy that uses multilingual embeddings and clustering to identify semantic gaps between existing training data and a target usage distribution. By prioritizing auxiliary data from under-represented semantic clusters, COMPASS maximizes positive cross-lingual transfer while minimizing interference. We extend this into a continual learning framework, COMPASS-ECDA, which monitors for data distribution shifts in production and dynamically updates adapters to prevent model staleness, balancing adaptation to new data with the preservation of existing knowledge. Across three different model architectures (Phi-4-Mini, Llama-3.1-8B, and Qwen2.5-7B) and multiple challenging multilingual benchmarks (Global-MMLU, MMLU-ProX), including unseen long-context tasks (OneRuler), we demonstrate that COMPASS consistently outperforms baseline methods guided by linguistic similarity, providing an effective, efficient, and sustainable solution for developing and maintaining high-performing multilingual models in dynamic environments.