低リソース言語における思考：SFTが構築するもの、RLが修正するもの、正確性が見えないもの

要旨

3つの最先端の混合エキスパート（MoE）モデル（Alibaba、OpenAI、NVIDIA、それぞれ36〜40億のアクティブパラメータ）を取り上げ、低リソース言語で推論するようファインチューニングした。精度ベンチマークではほとんど変化は見られず、この規模ではベンチマーク自体がノイズである。ランダムシードを変えるだけでスコアは7.7ポイント変動し、これは測定したすべてのデータ効果およびレシピ効果を上回る。この帰無結果が最初の成果である。実際の変化は、精度では見えないところに存在する。ベースモデルはギリシャ語で考えることは決してない。質問がギリシャ語であっても、1,000件の推論トレースのうち0件がギリシャ語である。つまり、モデルはユーザーが読むことも監査することも修正することもできない形式で推論しつつ、正しく回答する。教師ありファインチューニング（SFT）後、公開されたすべてのチェックポイントは、約98%の項目で質問の言語で推論し、あるモデル群ではそのトークン数が3分の1になる。判定された文法的正確性は4モデルすべてで向上し、一般的な能力は各ベースモデルと数ポイント以内に収まった。何も忘れられず、流暢さが獲得された。我々は、このような変化を測定可能にする6つの行動次元を提案する。各次元は、出力長と相関する指標を排除するようゲートされている。また、我々自身の測定手段がどのように誤ったかを報告する。すなわち、それぞれが対照によって検出された6つの失敗である。SFTができないのは、それ自身の欠陥を修正することである。回答の4分の1は要求された形式を無視し、回答が推論チャネルに漏れ出し、明示的な「英語で考えよ」という指示が守られるのは半分未満である。訓練前に事前登録された検証可能な報酬を用いた強化学習は、最初の2つを完全に修正し（フォールバックは24%から2.5%へ、リークは3.5%から0.0%へ。いずれもフラットなランダム報酬の対照と比較）、3つ目を改善する（+9.1パーセントポイント）。一方、ギリシャ語での推論習慣は、精度のみの勾配では影響を受けずに維持される。我々は5つのチェックポイントを公開する。測定手段、対照、および事前登録は、任意の低リソース言語に適用可能である。ギリシャ語は、それらを測定することを可能にした事例である。

English

Take three frontier mixture-of-experts models (Alibaba, OpenAI, NVIDIA; 3.6-4.0B active parameters each) and fine-tune them to reason in a low-resource language. On accuracy benchmarks almost nothing happens, and the benchmark itself is noise at this scale: changing only the random seed moves the score by 7.7 points, more than every data and recipe effect we measured. That null is our first result. The real changes live where accuracy cannot see. Base models never think in Greek: 0 of 1,000 reasoning traces, even when the question is Greek, so the model answers correctly while reasoning in a form its user cannot read, audit, or correct. After supervised fine-tuning (SFT), every released checkpoint reasons in the language of the question on ~98% of items, one family at 3x fewer tokens, with judged grammaticality improving on all four models and general ability within a few points of each base: nothing was forgotten, and fluency was gained. We propose six behavioural dimensions that make such changes measurable, each gated to reject any metric that correlates with output length, and we report how our own instruments lied: six failures, each caught by a control. What SFT cannot do is fix its own defects: a quarter of answers skip the requested format, answers leak into the reasoning channel, and an explicit "think in English" is obeyed under half the time. Reinforcement learning with verifiable rewards, pre-registered before training, fixes the first two outright (fallback 24% to 2.5%, leak 3.5% to 0.0%, both against a flat random-reward control) and moves the third (+9.1pp), while the Greek reasoning habit survives an accuracy-only gradient untouched. We release five checkpoints. The instruments, the controls and the pre-registration travel to any low-resource language; Greek is the case that let us measure them.