Formalizando Pensamentos Latentes: Quatro Axiomas de Representação do Pensamento em LLMs

Resumo

Apresentamos um quadro de avaliação axiomático para representações latentes de pensamento em LLMs, composto por métricas que são independentes das pontuações de benchmarks downstream e revelam falhas representacionais que a precisão de benchmarks mascara. As avaliações existentes confundem a qualidade da representação com a capacidade do modelo. Portanto, as falhas não podem ser atribuídas à representação em vez de ao modelo que a processa. Formalizamos quatro axiomas funcionais (Causalidade, Minimalidade, Separabilidade e Estabilidade) e definimos uma medida quantitativa para cada um, calculada diretamente na representação independentemente da precisão downstream. Auditamos LLMs de pesos abertos em 23 tarefas de raciocínio (por exemplo, Raciocínio Espacial, QA Factual). Descobrimos que nenhum candidato satisfaz todos os quatro axiomas simultaneamente, que as representações distinguem o tipo de tarefa de forma confiável, mas não conseguem distinguir entre duas perguntas dentro da mesma tarefa, e que as representações codificam pouca informação além do que já está presente no embedding de entrada. A falha é consistente em famílias de modelos densos, destilados para raciocínio e treinados com RL, indicando que a lacuna é estrutural, e não uma propriedade do tamanho do modelo ou do procedimento de treinamento.

English

We introduce an axiomatic evaluation framework for latent thought representations in LLMs, comprising metrics that are independent of downstream benchmark scores and reveal representational failures that benchmark accuracy masks. Existing evaluations conflate representation quality with model capacity. Therefore, failures cannot be attributed to the representation rather than to the model that processes it. We formalize four functional axioms (Causality, Minimality, Separability, and Stability) and define a quantitative measure for each, computed directly on the representation independently of downstream accuracy. We audit open-weight LLMs across 23 reasoning tasks (e.g., Spatial Reasoning, Factual QA). We find that no candidate satisfies all four axioms simultaneously, that the representations distinguish task type reliably but cannot distinguish between two questions within the same task, and that the representations encode little information beyond what is already present in the input embedding. The failure is consistent across dense, reasoning-distilled, and RL-trained model families, indicating that the gap is structural rather than a property of model size or training procedure.