COMPASS: PEFT Multilingue Continuo con Campionamento Semantico Adattivo
COMPASS: COntinual Multilingual PEFT with Adaptive Semantic Sampling
April 22, 2026
Autori: Noah Flynn
cs.AI
Abstract
I modelli linguistici di grandi dimensioni (LLM) spesso mostrano disparità di prestazione tra le lingue, con la fine-tuning multilingue ingenua che degrada frequentemente le prestazioni a causa di interferenze cross-linguali negative. Per affrontare questo problema, introduciamo COMPASS (COntinual Multilingual PEFT with Adaptive Semantic Sampling), un nuovo framework incentrato sui dati per adattare gli LLM a lingue target. COMPASS sfrutta la fine-tuning efficiente in termini di parametri (PEFT) addestrando adattatori leggeri e specifici per lingua su un sottoinsieme accuratamente selezionato di dati multilingue ausiliari. Il cuore del nostro metodo è una strategia di campionamento consapevole della distribuzione che utilizza embedding multilingue e clustering per identificare i gap semantici tra i dati di addestramento esistenti e una distribuzione d'uso target. Prioritizzando i dati ausiliari provenienti da cluster semantici sottorappresentati, COMPASS massimizza il trasferimento cross-linguale positivo minimizzando l'interferenza. Estendiamo questo approccio in un framework di apprendimento continuo, COMPASS-ECDA, che monitora gli spostamenti nella distribuzione dei dati in produzione e aggiorna dinamicamente gli adattatori per prevenire l'obsolescenza del modello, bilanciando l'adattamento ai nuovi dati con la preservazione della conoscenza esistente. Attraverso tre diverse architetture di modelli (Phi-4-Mini, Llama-3.1-8B e Qwen2.5-7B) e molteplici benchmark multilingue impegnativi (Global-MMLU, MMLU-ProX), inclusi task a contesto lungo non visti durante l'addestramento (OneRuler), dimostriamo che COMPASS supera costantemente i metodi baseline guidati dalla similarità linguistica, fornendo una soluzione efficace, efficiente e sostenibile per sviluppare e mantenere modelli multilingue ad alte prestazioni in ambienti dinamici.
English
Large language models (LLMs) often exhibit performance disparities across languages, with naive multilingual fine-tuning frequently degrading performance due to negative cross-lingual interference. To address this, we introduce COMPASS (COntinual Multilingual PEFT with Adaptive Semantic Sampling), a novel data-centric framework for adapting LLMs to target languages. COMPASS leverages parameter-efficient fine-tuning (PEFT) by training lightweight, language-specific adapters on a judiciously selected subset of auxiliary multilingual data. The core of our method is a distribution-aware sampling strategy that uses multilingual embeddings and clustering to identify semantic gaps between existing training data and a target usage distribution. By prioritizing auxiliary data from under-represented semantic clusters, COMPASS maximizes positive cross-lingual transfer while minimizing interference. We extend this into a continual learning framework, COMPASS-ECDA, which monitors for data distribution shifts in production and dynamically updates adapters to prevent model staleness, balancing adaptation to new data with the preservation of existing knowledge. Across three different model architectures (Phi-4-Mini, Llama-3.1-8B, and Qwen2.5-7B) and multiple challenging multilingual benchmarks (Global-MMLU, MMLU-ProX), including unseen long-context tasks (OneRuler), we demonstrate that COMPASS consistently outperforms baseline methods guided by linguistic similarity, providing an effective, efficient, and sustainable solution for developing and maintaining high-performing multilingual models in dynamic environments.