저자원 언어에서의 사고: SFT가 구축하는 것, RL이 해결하는 것, 정확도가 볼 수 없는 것

초록

세 개의 최첨단 혼합 전문가(MoE) 모델(Alibaba, OpenAI, NVIDIA; 각각 36–40억 개의 활성 파라미터)을 저자원 언어로 추론하도록 미세 조정했다. 정확도 벤치마크에서는 거의 아무런 변화가 일어나지 않는다. 그런데 이 규모에서는 벤치마크 자체가 노이즈이다. 무작위 시드(seed)만 변경해도 점수가 7.7점 움직이며, 이는 우리가 측정한 모든 데이터 및 레시피 효과보다 큰 변동이다. 이러한 귀무 결과가 첫 번째 발견이다. 실제 변화는 정확도가 볼 수 없는 곳에 존재한다. 기본 모델은 결코 그리스어로 생각하지 않는다. 질문이 그리스어인 경우에도 추론 트레이스 1,000개 중 0개가 그리스어로 작성되며, 따라서 모델은 사용자가 읽거나 검토하거나 수정할 수 없는 형태로 추론하면서도 정확한 답을 산출한다. 지도 미세 조정(SFT) 이후에는 공개된 모든 체크포인트가 약 98%의 항목에서 질문의 언어로 추론한다. 한 모델 계열은 3배 적은 토큰으로 이를 수행하며, 네 모델 모두에서 문법성 평가가 향상되었다. 일반 능력은 각 기본 모델과 몇 점 차이 이내로 유지되었다. 잊힌 것은 없고 유창함이 얻어진 것이다. 우리는 이러한 변화를 측정 가능하게 만드는 여섯 가지 행동 차원을 제안하며, 각 차원은 출력 길이와 상관관계가 있는 지표를 배제하도록 게이팅된다. 또한 우리의 측정 도구가 어떻게 거짓말을 했는지 보고한다. 각각 통제 조건에 의해 포착된 여섯 가지 실패 사례이다. SFT가 할 수 없는 것은 자체 결함을 고치는 일이다. 답변의 4분의 1이 요청된 형식을 따르지 않았고, 답변이 추론 채널로 누출되었으며, 명시적인 "영어로 생각하라" 지시는 절반 미만의 경우에만 준수되었다. 훈련 전에 사전 등록된 검증 가능한 보상 기반 강화 학습은 처음 두 가지 문제를 완전히 해결했다(형식 미준수 24%→2.5%, 누출 3.5%→0.0%, 모두 균일한 무작위 보상 통제 조건 대비). 세 번째 문제도 개선되었다(+9.1%포인트). 그리스어 추론 습관은 정확도 전용 그래디언트에서도 온전히 유지되었다. 우리는 다섯 개의 체크포인트를 공개한다. 측정 도구, 통제 조건, 사전 등록 절차는 모든 저자원 언어에 적용 가능하다. 그리스어는 이를 측정할 수 있게 해준 사례이다.

English

Take three frontier mixture-of-experts models (Alibaba, OpenAI, NVIDIA; 3.6-4.0B active parameters each) and fine-tune them to reason in a low-resource language. On accuracy benchmarks almost nothing happens, and the benchmark itself is noise at this scale: changing only the random seed moves the score by 7.7 points, more than every data and recipe effect we measured. That null is our first result. The real changes live where accuracy cannot see. Base models never think in Greek: 0 of 1,000 reasoning traces, even when the question is Greek, so the model answers correctly while reasoning in a form its user cannot read, audit, or correct. After supervised fine-tuning (SFT), every released checkpoint reasons in the language of the question on ~98% of items, one family at 3x fewer tokens, with judged grammaticality improving on all four models and general ability within a few points of each base: nothing was forgotten, and fluency was gained. We propose six behavioural dimensions that make such changes measurable, each gated to reject any metric that correlates with output length, and we report how our own instruments lied: six failures, each caught by a control. What SFT cannot do is fix its own defects: a quarter of answers skip the requested format, answers leak into the reasoning channel, and an explicit "think in English" is obeyed under half the time. Reinforcement learning with verifiable rewards, pre-registered before training, fixes the first two outright (fallback 24% to 2.5%, leak 3.5% to 0.0%, both against a flat random-reward control) and moves the third (+9.1pp), while the Greek reasoning habit survives an accuracy-only gradient untouched. We release five checkpoints. The instruments, the controls and the pre-registration travel to any low-resource language; Greek is the case that let us measure them.