UnpredictaBench : un benchmark pour évaluer l'aléa distributionnel des grands modèles de langage

Résumé

Nous présentons UnpredictaBench, une évaluation qui teste la capacité des grands modèles de langage (LLM) à capturer les véritables distributions sous-jacentes. Alors que les LLM sont de plus en plus utilisés comme substituts d’autres entités (par exemple, pour représenter des humains dans des simulations économiques), la tendance de nombreux modèles à converger vers une seule réponse plausible entraîne une incapacité à saisir l’imprévisibilité des systèmes réels. Les travaux récents visant à améliorer la diversité des sorties sont insuffisants dans ce contexte : la simulation requiert des échantillons calibrés sur une distribution cible, et non simplement des sorties variées. UnpredictaBench isole une version simplifiée mais fondamentale de ce problème : l’échantillonnage de résultats à partir de distributions cibles individuelles, incluant des distributions statistiques canoniques, des distributions induites par des programmes stochastiques, et des scénarios en langage naturel décrivant des processus aléatoires. Nous introduisons 448 problèmes de ce type, accompagnés de KS@N, une métrique d’évaluation polyvalente qui quantifie dans quelle mesure un modèle produit des distributions cibles approximatives en boîte noire via le test statistique de Kolmogorov-Smirnov. Il s’agit du taux auquel nous ne parvenons pas à rejeter les échantillons de taille N générés par le modèle par rapport à des échantillons de référence, une valeur N plus élevée indiquant une plus grande difficulté. Testés sur des modèles ouverts et propriétaires, nous observons une large dispersion des capacités distributionnelles. Par exemple, lorsque les modèles génèrent des échantillons de taille 100 (KS@100, notre métrique standard), les scores varient de près de 0 à plus de 20 %. Aucun modèle n’atteint 40 % à KS@100, ce qui montre une marge de progression significative dans la capacité d’échantillonnage distributionnel. Bien que l’ajout de raisonnement puisse légèrement améliorer les scores, nous ne trouvons pas de solution immédiate à ce problème. UnpredictaBench démontre que même une simulation distributionnelle simple reste difficile, ce qui en fait une première étape nécessaire vers l’utilisation des LLM comme substituts de systèmes complexes.

English

We introduce UnpredictaBench, an evaluation that tests the ability of large language models (LLMs) to capture true underlying distributions. As LLMs are increasingly used as substitutes for other entities (e.g., for humans in economic simulations), the tendency of many models to collapse towards a single plausible answer means a failure to capture the unpredictability of real systems. Recent work on improving output diversity is insufficient for this setting: simulation requires samples that are calibrated to a target distribution, not merely varied outputs. UnpredictaBench isolates a simplified but fundamental version of this problem: sampling outcomes from individual target distributions, including canonical statistical distributions, distributions induced by stochastic programs, and natural-language scenarios that describe random processes. We introduce 448 such problems together with KS@N, a general-purpose evaluation metric that quantifies how well a model outputs approximate black-box target distributions via the Kolmogorov-Smirnov statistical test. This is the rate at which we fail to reject model samples of size N against ground-truth samples, with larger N indicating greater difficulty. Tested across open and proprietary models, we find a large spread in distributional capabilities. For instance, when models generate samples of size 100 (KS@100, our standard metric), scores range from near 0 to over 20%. No model is able to achieve over 40% at KS@100, showing significant headroom in distributional sampling as a capability. Although adding reasoning can somewhat increase scores, we find no immediate solution for this issue. UnpredictaBench shows that even simple distributional simulation remains challenging, making it a necessary first step toward using LLMs as stand-ins for complex systems.