LLM에서 모든 언어가 동등하게 생성되는 것은 아니다: 교차 언어 사고 프롬프팅을 통한 다국어 능력 향상

초록

대형 언어 모델(LLMs)은 인상적인 다국어 능력을 보여주지만, 다양한 언어 간 성능 차이가 상당히 크다. 본 연구에서는 LLMs의 다국어 능력을 체계적으로 향상시키기 위해 교차언어적 사고 프롬프팅(XLT)이라는 간단하면서도 효과적인 방법을 소개한다. 구체적으로, XLT는 교차언어적 및 논리적 추론 능력을 자극하여 다양한 언어 간 과제 성능을 향상시키는 일반적인 템플릿 프롬프트이다. 우리는 추론, 이해, 생성 과제와 관련된 7개의 대표적인 벤치마크를 대상으로 포괄적인 평가를 수행하며, 이는 고자원 언어와 저자원 언어를 모두 포함한다. 실험 결과, XLT는 다양한 다국어 과제의 성능을 현저히 향상시킬 뿐만 아니라, 각 과제의 평균 성능과 최고 성능 간의 격차를 크게 줄이는 것으로 나타났다. 특히, XLT는 산술 추론 및 개방형 질의응답 과제에서 평균 10점 이상의 향상을 가져왔다.

English

Large language models (LLMs) demonstrate impressive multilingual capability, but their performance varies substantially across different languages. In this work, we introduce a simple yet effective method, called cross-lingual-thought prompting (XLT), to systematically improve the multilingual capability of LLMs. Specifically, XLT is a generic template prompt that stimulates cross-lingual and logical reasoning skills to enhance task performance across languages. We conduct comprehensive evaluations on 7 typical benchmarks related to reasoning, understanding, and generation tasks, covering both high-resource and low-resource languages. Experimental results show that XLT not only remarkably enhances the performance of various multilingual tasks but also significantly reduces the gap between the average performance and the best performance of each task in different languages. Notably, XLT brings over 10 points of average improvement in arithmetic reasoning and open-domain question-answering tasks.

LLM에서 모든 언어가 동등하게 생성되는 것은 아니다: 교차 언어 사고 프롬프팅을 통한 다국어 능력 향상

Not All Languages Are Created Equal in LLMs: Improving Multilingual Capability by Cross-Lingual-Thought Prompting

초록

Support