Partición, Prompt, Agregación: Autoconsistencia Estadística en Modelos de Lenguaje

Resumen

El aprendizaje en contexto se interpreta comúnmente como una forma de inferencia condicional, en la que el prompt especifica un contexto y la salida del modelo se trata como una estimación de la distribución condicional correspondiente. Si esta interpretación es válida, entonces las estimaciones de los LLM deberían satisfacer identidades probabilísticas básicas. En particular, la ley de probabilidad total establece que las distribuciones condicionales ponderadas por la probabilidad a priori se agregan en marginales a nivel poblacional sobre cualquier partición válida de la población. En este trabajo, investigamos hasta qué punto las estimaciones de los LLM se adhieren a este principio de autoconsistencia. Utilizamos árboles binarios como andamiaje de evaluación para dividir recursivamente una población en subpoblaciones cada vez más finas. Luego, presentamos a los LLM descripciones verbalizadas de las subpoblaciones en contexto, agregamos las estimaciones resultantes de vuelta a estimaciones a nivel poblacional y las comparamos entre particiones de diferente granularidad. Al aplicar este protocolo a diversos dominios problemáticos y modelos fronterizos de última generación, mostramos violaciones generalizadas de propiedades básicas de consistencia. Un estudio en profundidad del prompting de persona revela un patrón que denominamos la falacia macro: las estimaciones reconstruidas a partir de respuestas de subpoblaciones más finas suelen alinearse mejor con los datos de referencia humanos que las estimaciones directas a nivel poblacional. Este efecto persiste ante variaciones en la estructura del árbol y la tarea de estimación, y puede recuperarse parcialmente mediante prompting implícito. En conjunto, estos hallazgos sugieren que los modelos poseen conocimiento relevante de las subpoblaciones, pero no lo propagan de manera fiable a las estimaciones agregadas. Esta brecha establece la autoconsistencia estadística como un criterio no saturado y sin referencia para evaluar LLMs.

English

In-context learning is commonly interpreted as a form of conditional inference, in which the prompt specifies a context and the model's output is treated as an estimate of the corresponding conditional distribution. If this interpretation holds, then LLM estimates should satisfy basic probabilistic identities. In particular, the law of total probability asserts that prior-weighted conditional distributions aggregate into population-level marginals over any valid partition of the population. In this work, we investigate to what extent LLM estimates adhere to this self-consistency principle. We use binary trees as an evaluation scaffold to recursively partition a population into increasingly fine-grained subpopulations. We then prompt LLMs with verbalized subpopulation descriptions in context, aggregate the resulting estimates back into population-level estimates, and compare them across partitions of varying granularity. Applying this protocol across problem domains and state-of-the-art frontier models, we show widespread violations of basic consistency properties. An in-depth study of persona prompting reveals a pattern we call the macro fallacy: estimates reconstructed from more fine-grained subpopulation responses are often better aligned with human reference data than direct population-level estimates. This effect persists across variations in tree structure and estimation task, and can be partially recovered through implicit prompting. Together, these findings suggest that models possess relevant subpopulation knowledge but do not reliably propagate it into aggregate estimates. This gap establishes statistical self-consistency as an unsaturated, reference-free criterion for evaluating LLMs.