생각해보세요: 더 적은 데이터, 더 나은 추론 -- 프랑스어 LLM 재고하기

Pensez: Less Data, Better Reasoning -- Rethinking French LLM

March 17, 2025

저자: Huy Hoang Ha

cs.AI

초록

대규모 언어 모델(LLM)은 다양한 자연어 처리 과제에서 뛰어난 능력을 보여주고 있습니다. 그러나 수학적 추론이나 비영어권 언어와 같은 특정 도메인에서 강력한 성능을 달성하려면 대규모 데이터셋에 대한 광범위한 훈련이 필요합니다. 본 논문은 이러한 접근과 대조적으로, 소규모이지만 고품질의 이중언어(영어-프랑스어) 데이터셋을 전략적으로 미세 조정하여 대규모 언어 모델의 추론 능력과 프랑스어 숙련도를 동시에 향상시키는 방법을 탐구합니다. 규모에 의존하기보다는, 표적 데이터 큐레이션과 최적화된 훈련이 경쟁력 있는, 혹은 더 우수한 성능을 달성할 수 있다는 가설을 검증합니다. 우리는 2,000개의 신중하게 선별된 샘플에 대한 표적 지도 미세 조정(SFT)을 통해 수학적 추론에서의 상당한 개선을 입증합니다. 특히, Pensez 7B 모델은 AIME25에서 기본 모델 대비 최대 20%의 정확도 향상을, 프랑스어 MATH 레벨 5 벤치마크에서는 12%의 정확도 향상을 보여줍니다. 이러한 결과는 대규모 데이터셋이 LLM의 강력한 추론 성능을 위한 필수 조건이라는 기존의 가정에 도전하며, 전략적 데이터 큐레이션과 최적화된 미세 조정이 특화된 기술과 다국어 능력을 향상시킬 수 있는 잠재력을 강조합니다. 우리의 연구 결과는 특히 자원이 제한된 시나리오에서 고성능 다국어 LLM을 효율적으로 개발하는 데 중요한 시사점을 제공합니다.

English

Large language models (LLMs) have demonstrated remarkable capabilities in various natural language processing tasks. However, achieving strong performance in specialized domains like mathematical reasoning and non-English languages often requires extensive training on massive datasets. This paper investigates a contrasting approach: strategic fine-tuning on a small, high-quality, bilingual (English-French) dataset to enhance both the reasoning capabilities and French language proficiency of a large language model. Rather than relying on scale, we explore the hypothesis that targeted data curation and optimized training can achieve competitive, or even superior, performance. We demonstrate, through targeted supervised fine-tuning (SFT) on only 2,000 carefully selected samples, significant improvements in mathematical reasoning. Specifically, Pensez 7B exhibits an increase in accuracy of the base model up to 20% on the AIME25 and a 12% increase on a French MATH level 5 benchmark. These results challenge the prevailing assumption that massive datasets are aprerequisite for strong reasoning performance in LLMs, highlighting the potential of strategic data curation and optimized fine-tuning for enhancing both specialized skills and multilingual capabilities. Our findings have implications for the efficient development of high-performing, multilingual LLMs, especially in resource-constrained scenarios.