COMPASS: 적응형 의미 샘플링을 통한 지속적 다국어 PEFT

초록

대규모 언어 모델(LLM)은 종종 언어 간 성능 차이를 보이며, 단순한 다국어 파인튜닝은 부정적인 교차 언어 간섭으로 인해 성능 저하를 초래하는 경우가 많습니다. 이를 해결하기 위해 본 연구에서는 LLM을 대상 언어에 적응시키기 위한 새로운 데이터 중심 프레임워크인 COMPASS(COntinual Multilingual PEFT with Adaptive Semantic Sampling)를 소개합니다. COMPASS는 신중하게 선별된 보조 다국어 데이터의 부분 집합을 통해 경량의 언어 특화 어댑터를 훈련함으로써 매개변수 효율적 파인튜닝(PEFT)을 활용합니다. 본 방법론의 핵심은 다국어 임베딩과 클러스터링을 사용하여 기존 훈련 데이터와 목표 사용 분포 간의 의미론적 격차를 식별하는 분포 인식 샘플링 전략입니다. COMPASS는 저조직된 의미론적 클러스터의 보조 데이터를 우선적으로 선택함으로써 긍정적인 교차 언어 전이를 극대화하고 간섭을 최소화합니다. 이를 생산 환경에서의 데이터 분포 변화를 모니터링하고 모델의 노후화를 방지하기 위해 어댑터를 동적으로 업데이트하는 지속 학습 프레임워크인 COMPASS-ECDA로 확장합니다. 이는 새로운 데이터에 대한 적응과 기존 지식의 보존 사이의 균형을 유지합니다. 서로 다른 세 가지 모델 아키텍처(Phi-4-Mini, Llama-3.1-8B, Qwen2.5-7B)와 여러 까다로운 다국어 벤치마크(Global-MMLU, MMLU-ProX) 및 보지 않은 장문 컨텍스트 작업(OneRuler)을 포함한 평가에서 COMPASS는 언어적 유사성에 기반한 기준 방법들을 꾸준히 능가하며, 동적인 환경에서 고성능 다국어 모델을 개발하고 유지하기 위한 효과적, 효율적, 지속 가능한 솔루션을 제공합니다.

English

Large language models (LLMs) often exhibit performance disparities across languages, with naive multilingual fine-tuning frequently degrading performance due to negative cross-lingual interference. To address this, we introduce COMPASS (COntinual Multilingual PEFT with Adaptive Semantic Sampling), a novel data-centric framework for adapting LLMs to target languages. COMPASS leverages parameter-efficient fine-tuning (PEFT) by training lightweight, language-specific adapters on a judiciously selected subset of auxiliary multilingual data. The core of our method is a distribution-aware sampling strategy that uses multilingual embeddings and clustering to identify semantic gaps between existing training data and a target usage distribution. By prioritizing auxiliary data from under-represented semantic clusters, COMPASS maximizes positive cross-lingual transfer while minimizing interference. We extend this into a continual learning framework, COMPASS-ECDA, which monitors for data distribution shifts in production and dynamically updates adapters to prevent model staleness, balancing adaptation to new data with the preservation of existing knowledge. Across three different model architectures (Phi-4-Mini, Llama-3.1-8B, and Qwen2.5-7B) and multiple challenging multilingual benchmarks (Global-MMLU, MMLU-ProX), including unseen long-context tasks (OneRuler), we demonstrate that COMPASS consistently outperforms baseline methods guided by linguistic similarity, providing an effective, efficient, and sustainable solution for developing and maintaining high-performing multilingual models in dynamic environments.

COMPASS: 적응형 의미 샘플링을 통한 지속적 다국어 PEFT

COMPASS: COntinual Multilingual PEFT with Adaptive Semantic Sampling

초록

Support