분할, 프롬프트, 집계: 언어 모델에서의 통계적 자기 일관성

초록

맥락 내 학습은 일반적으로 조건부 추론의 한 형태로 해석되며, 이때 프롬프트는 맥락을 명시하고 모델의 출력은 그에 대응하는 조건부 분포의 추정치로 간주된다. 이러한 해석이 성립한다면, LLM 추정치는 기본적인 확률적 항등식을 충족해야 한다. 특히, 전확률의 법칙은 사전 가중치가 적용된 조건부 분포가 모집단의 모든 유효한 분할에 대해 모집단 수준의 주변 분포로 집계됨을 주장한다. 본 연구에서는 LLM 추정치가 이러한 자기 일관성 원칙을 어느 정도 준수하는지 조사한다. 이진 트리를 평가 프레임워크로 사용하여 모집단을 점차 세분화된 하위 집단으로 재귀적으로 분할한다. 그런 다음 LLM에 언어화된 하위 집단 설명을 맥락 내에서 프롬프트로 제공하고, 결과 추정치를 다시 모집단 수준 추정치로 집계한 후 다양한 세분화 수준의 분할 간에 비교한다. 이 프로토콜을 다양한 문제 영역과 최첨단 경계 모델에 적용한 결과, 기본적인 일관성 속성의 광범위한 위반이 관찰되었다. 페르소나 프롬프팅에 대한 심층 연구를 통해 우리는 '거대 오류(macro fallacy)'라는 패턴을 발견했다. 더 세분화된 하위 집단 응답으로부터 재구성된 추정치는 직접적인 모집단 수준 추정치보다 인간 참조 데이터와 더 잘 일치하는 경우가 많았다. 이 효과는 트리 구조와 추정 작업의 변화에 걸쳐 지속되며, 암시적 프롬프팅을 통해 부분적으로 회복될 수 있다. 종합하면, 이러한 발견은 모델이 관련 하위 집단 지식을 보유하고 있지만 이를 집계 추정치로 신뢰성 있게 전달하지는 못함을 시사한다. 이러한 차이는 통계적 자기 일관성을 LLM 평가를 위한 포화되지 않은 참조 없는 기준으로 확립한다.

English

In-context learning is commonly interpreted as a form of conditional inference, in which the prompt specifies a context and the model's output is treated as an estimate of the corresponding conditional distribution. If this interpretation holds, then LLM estimates should satisfy basic probabilistic identities. In particular, the law of total probability asserts that prior-weighted conditional distributions aggregate into population-level marginals over any valid partition of the population. In this work, we investigate to what extent LLM estimates adhere to this self-consistency principle. We use binary trees as an evaluation scaffold to recursively partition a population into increasingly fine-grained subpopulations. We then prompt LLMs with verbalized subpopulation descriptions in context, aggregate the resulting estimates back into population-level estimates, and compare them across partitions of varying granularity. Applying this protocol across problem domains and state-of-the-art frontier models, we show widespread violations of basic consistency properties. An in-depth study of persona prompting reveals a pattern we call the macro fallacy: estimates reconstructed from more fine-grained subpopulation responses are often better aligned with human reference data than direct population-level estimates. This effect persists across variations in tree structure and estimation task, and can be partially recovered through implicit prompting. Together, these findings suggest that models possess relevant subpopulation knowledge but do not reliably propagate it into aggregate estimates. This gap establishes statistical self-consistency as an unsaturated, reference-free criterion for evaluating LLMs.