CLUE: 隠れ状態クラスタリングによる経験に基づくノンパラメトリック検証

要旨

大規模言語モデル（LLM）の出力品質を評価することは、重要な課題である。従来の手法は、表面的な手がかりに過剰適合する可能性のあるテキストレベルの情報（例：報酬モデル、多数決）に依存するか、またはトークン確率から得られる較正された信頼度に依存するが、これは較正が不十分なモデルでは失敗する。しかし、これらの信号は実際には、より豊富な情報源であるモデルの内部隠れ状態の部分的な投影に過ぎない。トークン埋め込みに近い初期層は、テキストベースの判断を支える意味的および語彙的特徴を保持し、後期層は出力ロジットと整合し、信頼度関連の情報を埋め込む。本論文では、検証のための統一的な基盤として隠れ状態を直接探求する。我々は、解決策の正しさが隠れ活性化の軌跡内に幾何学的に分離可能なシグネチャとして符号化されることを示す。これを検証するために、意図的にミニマリストで非パラメトリックな検証器であるClue（Clustering and Experience-based Verification）を提案する。学習可能なパラメータを持たないCLUEは、各推論トレースを隠れ状態の差分で要約し、過去の経験から形成された「成功」と「失敗」のクラスタへの最近接重心距離によって正しさを分類する。この手法の単純さは、基礎となる信号の強さを強調する。実験的に、CLUEはLLM-as-a-judgeベースラインを一貫して上回り、候補の再ランキングにおいて現代の信頼度ベースの手法に匹敵またはそれを超え、AIME 24/25およびGPQAにおいてトップ1および多数決精度の両方を向上させる。特に、1.5Bモデルを使用したAIME 24では、CLUEは精度を56.7%（多数決@64）から70.0%（トップ多数決@16）に向上させる。

English

Assessing the quality of Large Language Model (LLM) outputs presents a critical challenge. Previous methods either rely on text-level information (e.g., reward models, majority voting), which can overfit to superficial cues, or on calibrated confidence from token probabilities, which would fail on less-calibrated models. Yet both of these signals are, in fact, partial projections of a richer source of information: the model's internal hidden states. Early layers, closer to token embeddings, preserve semantic and lexical features that underpin text-based judgments, while later layers increasingly align with output logits, embedding confidence-related information. This paper explores hidden states directly as a unified foundation for verification. We show that the correctness of a solution is encoded as a geometrically separable signature within the trajectory of hidden activations. To validate this, we present Clue (Clustering and Experience-based Verification), a deliberately minimalist, non-parametric verifier. With no trainable parameters, CLUE only summarizes each reasoning trace by an hidden state delta and classifies correctness via nearest-centroid distance to ``success'' and ``failure'' clusters formed from past experience. The simplicity of this method highlights the strength of the underlying signal. Empirically, CLUE consistently outperforms LLM-as-a-judge baselines and matches or exceeds modern confidence-based methods in reranking candidates, improving both top-1 and majority-vote accuracy across AIME 24/25 and GPQA. As a highlight, on AIME 24 with a 1.5B model, CLUE boosts accuracy from 56.7% (majority@64) to 70.0% (top-maj@16).

CLUE: 隠れ状態クラスタリングによる経験に基づくノンパラメトリック検証

CLUE: Non-parametric Verification from Experience via Hidden-State Clustering

要旨

Support