分割、プロンプト、集約：言語モデルにおける統計的自己整合性

要旨

インコンテキスト学習は、一般的に条件付き推論の一形態として解釈される。この推論では、プロンプトがコンテキストを指定し、モデルの出力が対応する条件付き分布の推定値として扱われる。この解釈が成り立つならば、LLMの推定値は基本的な確率恒等式を満たすはずである。特に、全確率の法則は、事前分布で重み付けされた条件付き分布が、母集団の任意の有効な分割に対して母集団レベルの周辺分布に集約されることを主張する。本研究では、LLMの推定値がこの自己整合性原理にどの程度従うかを調査する。評価の枠組みとして二分木を用い、母集団を再帰的に分割して、より細かい粒度の部分母集団を生成する。次に、コンテキスト内で言語化された部分母集団の記述をLLMにプロンプトとして与え、得られた推定値を母集団レベルの推定値に再集約し、異なる粒度の分割間で比較する。このプロトコルを様々な問題領域と最先端のフロンティアモデルに適用した結果、基本的な整合性特性の広範な違反が観察された。ペルソナプロンプティングの詳細な研究により、マクロ誤謬と呼ぶパターンが明らかになった。より細かい粒度の部分母集団の応答から再構築された推定値は、直接的な母集団レベルの推定値よりも人間の参照データとよく一致することが多い。この効果は木構造や推定タスクの変化に関わらず持続し、暗黙的プロンプティングによって部分的に再現できる。これらの知見は、モデルが関連する部分母集団の知識を持っているものの、それを集計推定値に確実に伝播させていないことを示唆している。このギャップは、統計的自己整合性を、LLM評価のための未飽和かつ参照不要の基準として位置づける。

English

In-context learning is commonly interpreted as a form of conditional inference, in which the prompt specifies a context and the model's output is treated as an estimate of the corresponding conditional distribution. If this interpretation holds, then LLM estimates should satisfy basic probabilistic identities. In particular, the law of total probability asserts that prior-weighted conditional distributions aggregate into population-level marginals over any valid partition of the population. In this work, we investigate to what extent LLM estimates adhere to this self-consistency principle. We use binary trees as an evaluation scaffold to recursively partition a population into increasingly fine-grained subpopulations. We then prompt LLMs with verbalized subpopulation descriptions in context, aggregate the resulting estimates back into population-level estimates, and compare them across partitions of varying granularity. Applying this protocol across problem domains and state-of-the-art frontier models, we show widespread violations of basic consistency properties. An in-depth study of persona prompting reveals a pattern we call the macro fallacy: estimates reconstructed from more fine-grained subpopulation responses are often better aligned with human reference data than direct population-level estimates. This effect persists across variations in tree structure and estimation task, and can be partially recovered through implicit prompting. Together, these findings suggest that models possess relevant subpopulation knowledge but do not reliably propagate it into aggregate estimates. This gap establishes statistical self-consistency as an unsaturated, reference-free criterion for evaluating LLMs.