UnpredictaBench: Un benchmark para evaluar la aleatoriedad distribucional en LLMs

Resumen

Presentamos UnpredictaBench, una evaluación que prueba la capacidad de los grandes modelos de lenguaje (LLMs) para capturar distribuciones subyacentes reales. A medida que los LLMs se utilizan cada vez más como sustitutos de otras entidades (por ejemplo, de humanos en simulaciones económicas), la tendencia de muchos modelos a colapsar hacia una única respuesta plausible implica una falta de captura de la impredecibilidad de los sistemas reales. Los trabajos recientes sobre mejora de la diversidad en las salidas son insuficientes para este contexto: la simulación requiere muestras calibradas respecto a una distribución objetivo, no simplemente salidas variadas. UnpredictaBench aísla una versión simplificada pero fundamental de este problema: el muestreo de resultados a partir de distribuciones objetivo individuales, incluyendo distribuciones estadísticas canónicas, distribuciones inducidas por programas estocásticos y escenarios en lenguaje natural que describen procesos aleatorios. Introducimos 448 problemas de este tipo junto con KS@N, una métrica de evaluación de propósito general que cuantifica qué tan bien un modelo produce muestras que se aproximan a distribuciones objetivo de caja negra mediante la prueba estadística de Kolmogorov-Smirnov. Esta es la tasa a la que no logramos rechazar muestras de tamaño N generadas por el modelo frente a muestras de la verdad fundamental, donde un N mayor indica mayor dificultad. Evaluados en modelos abiertos y propietarios, encontramos una amplia variabilidad en las capacidades distribucionales. Por ejemplo, cuando los modelos generan muestras de tamaño 100 (KS@100, nuestra métrica estándar), las puntuaciones van desde cerca de 0 hasta más del 20%. Ningún modelo logra superar el 40% en KS@100, lo que muestra un margen de mejora significativo en el muestreo distribucional como capacidad. Aunque añadir razonamiento puede aumentar ligeramente las puntuaciones, no encontramos una solución inmediata para este problema. UnpredictaBench demuestra que incluso el muestreo distribucional simple sigue siendo desafiante, lo que lo convierte en un primer paso necesario hacia el uso de LLMs como sustitutos de sistemas complejos.

English

We introduce UnpredictaBench, an evaluation that tests the ability of large language models (LLMs) to capture true underlying distributions. As LLMs are increasingly used as substitutes for other entities (e.g., for humans in economic simulations), the tendency of many models to collapse towards a single plausible answer means a failure to capture the unpredictability of real systems. Recent work on improving output diversity is insufficient for this setting: simulation requires samples that are calibrated to a target distribution, not merely varied outputs. UnpredictaBench isolates a simplified but fundamental version of this problem: sampling outcomes from individual target distributions, including canonical statistical distributions, distributions induced by stochastic programs, and natural-language scenarios that describe random processes. We introduce 448 such problems together with KS@N, a general-purpose evaluation metric that quantifies how well a model outputs approximate black-box target distributions via the Kolmogorov-Smirnov statistical test. This is the rate at which we fail to reject model samples of size N against ground-truth samples, with larger N indicating greater difficulty. Tested across open and proprietary models, we find a large spread in distributional capabilities. For instance, when models generate samples of size 100 (KS@100, our standard metric), scores range from near 0 to over 20%. No model is able to achieve over 40% at KS@100, showing significant headroom in distributional sampling as a capability. Although adding reasoning can somewhat increase scores, we find no immediate solution for this issue. UnpredictaBench shows that even simple distributional simulation remains challenging, making it a necessary first step toward using LLMs as stand-ins for complex systems.