Formalización de pensamientos latentes: Cuatro axiomas de representación del pensamiento en LLMs

Resumen

Introducimos un marco de evaluación axiomático para las representaciones latentes del pensamiento en LLMs, compuesto por métricas independientes de las puntuaciones de referencia posteriores que revelan fallos representacionales que la precisión de las referencias enmascara. Las evaluaciones existentes confunden la calidad de la representación con la capacidad del modelo; por lo tanto, los fallos no pueden atribuirse a la representación en lugar de al modelo que la procesa. Formalizamos cuatro axiomas funcionales (Causalidad, Minimalidad, Separabilidad y Estabilidad) y definimos una medida cuantitativa para cada uno, calculada directamente sobre la representación, independientemente de la precisión posterior. Auditamos LLMs de pesos abiertos en 23 tareas de razonamiento (por ejemplo, Razonamiento Espacial, Preguntas y Respuestas Factuales). Encontramos que ningún candidato satisface los cuatro axiomas simultáneamente, que las representaciones distinguen de manera fiable el tipo de tarea pero no pueden distinguir entre dos preguntas dentro de la misma tarea, y que las representaciones codifican poca información más allá de la ya presente en la incrustación de entrada. El fallo es consistente en familias de modelos densos, destilados en razonamiento y entrenados con RL, lo que indica que la brecha es estructural y no una propiedad del tamaño del modelo o del procedimiento de entrenamiento.

English

We introduce an axiomatic evaluation framework for latent thought representations in LLMs, comprising metrics that are independent of downstream benchmark scores and reveal representational failures that benchmark accuracy masks. Existing evaluations conflate representation quality with model capacity. Therefore, failures cannot be attributed to the representation rather than to the model that processes it. We formalize four functional axioms (Causality, Minimality, Separability, and Stability) and define a quantitative measure for each, computed directly on the representation independently of downstream accuracy. We audit open-weight LLMs across 23 reasoning tasks (e.g., Spatial Reasoning, Factual QA). We find that no candidate satisfies all four axioms simultaneously, that the representations distinguish task type reliably but cannot distinguish between two questions within the same task, and that the representations encode little information beyond what is already present in the input embedding. The failure is consistent across dense, reasoning-distilled, and RL-trained model families, indicating that the gap is structural rather than a property of model size or training procedure.