CLUE: Verificação Não Paramétrica a partir da Experiência via Agrupamento de Estados Ocultos

Resumo

Avaliar a qualidade das saídas de modelos de linguagem de grande escala (LLMs) apresenta um desafio crítico. Métodos anteriores dependem de informações em nível de texto (por exemplo, modelos de recompensa, votação majoritária), que podem se ajustar excessivamente a pistas superficiais, ou de confiança calibrada a partir de probabilidades de tokens, o que falharia em modelos menos calibrados. No entanto, ambos esses sinais são, na verdade, projeções parciais de uma fonte mais rica de informação: os estados internos ocultos do modelo. As camadas iniciais, mais próximas das incorporações de tokens, preservam características semânticas e lexicais que sustentam julgamentos baseados em texto, enquanto as camadas posteriores se alinham cada vez mais com os logits de saída, incorporando informações relacionadas à confiança. Este artigo explora diretamente os estados ocultos como uma base unificada para verificação. Mostramos que a correção de uma solução é codificada como uma assinatura geometricamente separável dentro da trajetória das ativações ocultas. Para validar isso, apresentamos o Clue (Clustering and Experience-based Verification), um verificador deliberadamente minimalista e não paramétrico. Sem parâmetros treináveis, o CLUE apenas resume cada traço de raciocínio por um delta de estado oculto e classifica a correção pela distância do centróide mais próximo aos clusters de "sucesso" e "falha" formados a partir de experiências passadas. A simplicidade desse método destaca a força do sinal subjacente. Empiricamente, o CLUE supera consistentemente as linhas de base de LLM-como-juiz e iguala ou excede métodos modernos baseados em confiança na reclassificação de candidatos, melhorando tanto a precisão top-1 quanto a precisão de votação majoritária em AIME 24/25 e GPQA. Como destaque, no AIME 24 com um modelo de 1,5B, o CLUE aumenta a precisão de 56,7% (majority@64) para 70,0% (top-maj@16).

English

Assessing the quality of Large Language Model (LLM) outputs presents a critical challenge. Previous methods either rely on text-level information (e.g., reward models, majority voting), which can overfit to superficial cues, or on calibrated confidence from token probabilities, which would fail on less-calibrated models. Yet both of these signals are, in fact, partial projections of a richer source of information: the model's internal hidden states. Early layers, closer to token embeddings, preserve semantic and lexical features that underpin text-based judgments, while later layers increasingly align with output logits, embedding confidence-related information. This paper explores hidden states directly as a unified foundation for verification. We show that the correctness of a solution is encoded as a geometrically separable signature within the trajectory of hidden activations. To validate this, we present Clue (Clustering and Experience-based Verification), a deliberately minimalist, non-parametric verifier. With no trainable parameters, CLUE only summarizes each reasoning trace by an hidden state delta and classifies correctness via nearest-centroid distance to ``success'' and ``failure'' clusters formed from past experience. The simplicity of this method highlights the strength of the underlying signal. Empirically, CLUE consistently outperforms LLM-as-a-judge baselines and matches or exceeds modern confidence-based methods in reranking candidates, improving both top-1 and majority-vote accuracy across AIME 24/25 and GPQA. As a highlight, on AIME 24 with a 1.5B model, CLUE boosts accuracy from 56.7% (majority@64) to 70.0% (top-maj@16).

CLUE: Verificação Não Paramétrica a partir da Experiência via Agrupamento de Estados Ocultos

CLUE: Non-parametric Verification from Experience via Hidden-State Clustering

Resumo

Support