잠재적 사고의 형식화: LLM에서의 사고 표현에 관한 네 가지 공리

초록

본 논문에서는 대규모 언어 모델(LLM)의 잠재적 사고 표현을 위한 공리적 평가 프레임워크를 소개한다. 이 프레임워크는 하위 벤치마크 점수와 독립적인 지표들로 구성되며, 벤치마크 정확도가 가리는 표현 실패를 드러낸다. 기존 평가는 표현 품질과 모델 용량을 혼동하므로, 실패 원인을 표현이 아닌 이를 처리하는 모델에 귀속시킬 수 없다. 본 연구는 네 가지 기능적 공리(인과성, 최소성, 분리성, 안정성)를 정형화하고, 각 공리에 대한 정량적 측정값을 정의한다. 이 측정값은 하위 정확도와 독립적으로 표현 자체에서 직접 계산된다. 본 연구는 23가지 추론 과제(예: 공간 추론, 사실적 질의응답)에 걸쳐 오픈웨이트 대규모 언어 모델을 평가한다. 그 결과, 어떤 후보도 네 가지 공리를 동시에 충족하지 못하며, 표현은 과제 유형을 신뢰성 있게 구분하지만 동일 과제 내 두 질문은 구분하지 못하며, 입력 임베딩에 이미 존재하는 정보 이상으로 거의 정보를 인코딩하지 않는다는 점을 발견했다. 이러한 실패는 밀집 모델, 추론 증류 모델, 강화학습 훈련 모델군에서 일관되게 나타나며, 이는 격차가 모델 크기나 훈련 절차의 속성이 아니라 구조적임을 시사한다.

English

We introduce an axiomatic evaluation framework for latent thought representations in LLMs, comprising metrics that are independent of downstream benchmark scores and reveal representational failures that benchmark accuracy masks. Existing evaluations conflate representation quality with model capacity. Therefore, failures cannot be attributed to the representation rather than to the model that processes it. We formalize four functional axioms (Causality, Minimality, Separability, and Stability) and define a quantitative measure for each, computed directly on the representation independently of downstream accuracy. We audit open-weight LLMs across 23 reasoning tasks (e.g., Spatial Reasoning, Factual QA). We find that no candidate satisfies all four axioms simultaneously, that the representations distinguish task type reliably but cannot distinguish between two questions within the same task, and that the representations encode little information beyond what is already present in the input embedding. The failure is consistent across dense, reasoning-distilled, and RL-trained model families, indicating that the gap is structural rather than a property of model size or training procedure.