LLM予測器が知っているが言わないこと：較正と忠実性のための内部表現の探査

要旨

予測用にファインチューニングされた大規模言語モデルは正確でありながら較正が不十分な場合があり、その連鎖思考(CoT)推論は予測の背後にある証拠を忠実に反映していない可能性がある。我々は、内部表現がその両方に対してより直接的な窓口を提供するかどうかを問う。OpenForesight上のEternis-Forecaster 8Bを用いて、中間活性化に対して表現プーリングプローブを訓練し、それらが大幅に優れた較正を達成することを見いだした。この結果はGLM-4.7-FlashおよびGLM-4.5-Airにも当てはまる。次に、証拠除去と転換的注入を通じてCoTの忠実性を評価する。プロンプト内の影響力のあるソースを除去すると、推論過程はそのままであるにもかかわらず、モデルの予測が変化することが多い。同一のプローブは嘘発見器として機能する。その活性化は、推論過程よりもはるかに良く行動の変化を追跡し、また、CoTが摂動の影響を隠している場合を含め、84%のケースで変化の方向を予測する。最後に、強制応答は、予測が推論開始前にほぼ固定されていることを明らかにする。推論前の単一パスで確定した回答と信頼度が再現され、この事前設定された回答分布の広がりによって質問を振り分けることで、精度を損なうことなく生成トークンの30～47%を節約できる。これらを総合すると、内部表現のプロービングは、言語モデル予測器やより広範な推論モデルの較正、監査、トリアージのための実用的なツールとして確立される。

English

Large language models fine-tuned for forecasting can be accurate yet poorly calibrated, and their chain-of-thought (CoT) reasoning may not faithfully reflect the evidence behind a forecast. We ask whether internal representations offer a more direct window into both. Working with Eternis-Forecaster 8B on OpenForesight, we train representation-pooling probes on intermediate activations and find they achieve substantially better calibration; a result that also holds for GLM-4.7-Flash and GLM-4.5-Air. We then assess CoT faithfulness through evidence ablation and diversionary injection: removing an influential source in the prompt often changes the model's forecast while leaving the reasoning trace untouched. The same probes function as lie detectors: their activations track behavioral shifts far better than the reasoning trace does, and they also predict the direction of change in 84% of cases, including when the CoT conceals the perturbation's influence. Finally, forced answering reveals that forecasts are largely fixed before reasoning begins: a single pre-reasoning pass recovers the committed answer and confidence, and routing questions by the spread of this pre-set answer distribution saves 30-47% of generated tokens, with no loss of accuracy. Together, these results establish probing internal representations as a practical tool for calibrating, auditing, and triaging language model forecasters and reasoning models more broadly.