Разделение, подсказка, агрегирование: статистическая самосогласованность в языковых моделях

Аннотация

Обучение в контексте обычно интерпретируется как форма условного вывода, в которой подсказка задаёт контекст, а выход модели рассматривается как оценка соответствующего условного распределения. Если эта интерпретация верна, то оценки LLM должны удовлетворять базовым вероятностным тождествам. В частности, закон полной вероятности утверждает, что взвешенные априорными весами условные распределения агрегируются в маргинальные распределения на уровне популяции для любого допустимого разбиения этой популяции. В данной работе мы исследуем, в какой степени оценки LLM соблюдают этот принцип самосогласованности. Мы используем бинарные деревья в качестве оценочного каркаса для рекурсивного разбиения популяции на всё более мелкозернистые подпопуляции. Затем мы подаём LLM вербализованные описания подпопуляций в контексте, агрегируем полученные оценки обратно в оценки на уровне популяции и сравниваем их для разбиений различной степени детализации. Применяя этот протокол к разным предметным областям и современным передовым моделям, мы демонстрируем повсеместные нарушения базовых свойств согласованности. Углублённое исследование промптинга с указанием персоны выявляет закономерность, которую мы называем макро-заблуждением: оценки, восстановленные из ответов более мелкозернистых подпопуляций, часто лучше согласуются с эталонными данными человека, чем прямые оценки на уровне популяции. Этот эффект сохраняется при варьировании структуры дерева и задачи оценивания и может быть частично восстановлен с помощью неявного промптинга. В совокупности эти результаты позволяют предположить, что модели обладают соответствующими знаниями о подпопуляциях, но не надежно переносят их в агрегированные оценки. Этот разрыв устанавливает статистическую самосогласованность как ненасыщенный критерий без привлечения эталонов для оценки LLM.

English

In-context learning is commonly interpreted as a form of conditional inference, in which the prompt specifies a context and the model's output is treated as an estimate of the corresponding conditional distribution. If this interpretation holds, then LLM estimates should satisfy basic probabilistic identities. In particular, the law of total probability asserts that prior-weighted conditional distributions aggregate into population-level marginals over any valid partition of the population. In this work, we investigate to what extent LLM estimates adhere to this self-consistency principle. We use binary trees as an evaluation scaffold to recursively partition a population into increasingly fine-grained subpopulations. We then prompt LLMs with verbalized subpopulation descriptions in context, aggregate the resulting estimates back into population-level estimates, and compare them across partitions of varying granularity. Applying this protocol across problem domains and state-of-the-art frontier models, we show widespread violations of basic consistency properties. An in-depth study of persona prompting reveals a pattern we call the macro fallacy: estimates reconstructed from more fine-grained subpopulation responses are often better aligned with human reference data than direct population-level estimates. This effect persists across variations in tree structure and estimation task, and can be partially recovered through implicit prompting. Together, these findings suggest that models possess relevant subpopulation knowledge but do not reliably propagate it into aggregate estimates. This gap establishes statistical self-consistency as an unsaturated, reference-free criterion for evaluating LLMs.