LLM이 표적화된 고품질 합성 다국어 데이터로 더욱 지능적으로 진화한다

초록

언어별 능력(LSC)은 언어 모델이 프롬프트의 언어에 따라 더 좋거나 나쁜 성능을 보이는 현상이다. 다시 말해, 언어 모델은 서로 다른 언어로 프롬프트가 주어졌을 때 동일한 의미론적 질의에 대해 서로 다른(그리고 잠재적으로 부정확한) 응답을 출력한다. 선행 연구는 이를 언어 간 의미 표현의 내부 정렬 불일치로 설명한다. 현재 문헌에서는 LSC를 해결하기 위한 두 가지 주요 접근법이 있다: (1) 모든 질의를 영어로 경유시켜 성능을 향상시키지만, 언어 표현력을 영어로 제한하는 방법, (2) 언어 균형 데이터로 학습하여 언어 간 모델 성능을 균등화하지만, 전체 성능을 저하시키는 방법이다. 본 연구에서는 데이터 중심 관점을 취하여 HOTFIXR: Hardness Optimized Training data For Improving X-Lingual Reasoning을 제안한다. HOTFIXR은 모델을 사용하여 학생 모델의 다국어 약점을 조사하고 학습한 뒤, 이를 완화하는 데이터를 생성하는 데이터 생성 프레임워크이다. HOTFIXR은 다국어 성능을 향상시킬 수 있는 다국어 합성 훈련 데이터를 생성할 수 있다. 우리는 세 가지 분포 내(in-distribution) 과업, 세 가지 분포 외(out-of-distribution) 과업, 그리고 네 가지 분포 외 언어에 대해 평가를 수행했다. 평균적으로 HOTFIXR은 (1) 분포 내 성능을 6.2% 향상시키고, (2) 미세 조정으로 유발되는 파괴적 망각을 OOD 과업에서 3.7%, (3) OOD 언어에서 7.1% 감소시킨다. 전반적으로, 많은 실제 응용 분야가 다국어 LLM을 요구하는 만큼, 본 연구는 LLM을 다국어에 능숙하게 만드는 노력에 기여한다. 우리는 논문이 채택되면 코드를 공개할 예정이다.

English

Language-specific competency (LSC) is the phenomenon of a language model performing better or worse depending on the language of the prompt. In other words, a language model outputs different (and potentially incorrect) responses to the same semantic query when prompted in different languages. Prior work attributes this to an internal misalignment of semantic representation across languages. Currently, there are two main approaches to address LSC in the literature: (1) routing all queries through English, improving performance, but limiting language expressivity to English; or (2) training on language-balanced data, equalizing model performance across languages, but reducing overall performance. In this work, we take a data centric perspective and introduce HOTFIXR: Hardness Optimized Training data For Improving X-Lingual Reasoning. It is a data generation framework that uses models to probe and learn a student model's multilingual weaknesses, and generates data to mitigate them. HOTFIXR can generate multilingual synthetic training data that can improve multilingual performance. We evaluate on three in-distribution tasks, three out-of-distribution tasks, and four out-of-distribution languages. On average, HOTFIXR (1) improves in-distribution performance by 6.2%, (2) reduces catastrophic forgetting (induced by fine-tuning) on OOD tasks by 3.7%, and (3) on OOD languages by 7.1%. Overall, as many real-world applications requires multilingual LLMs, our work contributes to the efforts of making LLMs multilingually proficient. We will release code upon acceptance.