Formaliser les pensées latentes : Quatre axiomes de la représentation des pensées dans les LLM

Résumé

Nous introduisons un cadre d'évaluation axiomatique pour les représentations latentes de la pensée dans les LLMs, comprenant des métriques indépendantes des scores de référence en aval et révélant des échecs représentationnels que masque la précision des benchmarks. Les évaluations existantes confondent la qualité de la représentation avec la capacité du modèle. Par conséquent, les échecs ne peuvent être attribués à la représentation plutôt qu'au modèle qui la traite. Nous formalisons quatre axiomes fonctionnels (Causalité, Minimalité, Séparabilité et Stabilité) et définissons une mesure quantitative pour chacun, calculée directement sur la représentation, indépendamment de la précision en aval. Nous auditonnons des LLMs à poids ouverts sur 23 tâches de raisonnement (par exemple, Raisonnement Spatial, QA Factuelle). Nous constatons qu'aucun candidat ne satisfait simultanément les quatre axiomes, que les représentations distinguent de manière fiable le type de tâche mais ne peuvent distinguer deux questions relevant d'une même tâche, et que les représentations encodent peu d'informations au-delà de ce qui est déjà présent dans le plongement d'entrée. Cet échec est constant à travers les familles de modèles denses, distillés par raisonnement et entraînés par RL, ce qui indique que le fossé est structurel, et non une propriété de la taille du modèle ou de la procédure d'entraînement.

English

We introduce an axiomatic evaluation framework for latent thought representations in LLMs, comprising metrics that are independent of downstream benchmark scores and reveal representational failures that benchmark accuracy masks. Existing evaluations conflate representation quality with model capacity. Therefore, failures cannot be attributed to the representation rather than to the model that processes it. We formalize four functional axioms (Causality, Minimality, Separability, and Stability) and define a quantitative measure for each, computed directly on the representation independently of downstream accuracy. We audit open-weight LLMs across 23 reasoning tasks (e.g., Spatial Reasoning, Factual QA). We find that no candidate satisfies all four axioms simultaneously, that the representations distinguish task type reliably but cannot distinguish between two questions within the same task, and that the representations encode little information beyond what is already present in the input embedding. The failure is consistent across dense, reasoning-distilled, and RL-trained model families, indicating that the gap is structural rather than a property of model size or training procedure.