UnpredictaBench: Ein Benchmark zur Bewertung der Verteilungszufälligkeit in LLMs

Zusammenfassung

Wir stellen UnpredictaBench vor, eine Evaluierungsmethode, die die Fähigkeit großer Sprachmodelle (LLMs) testet, wahre zugrundeliegende Verteilungen zu erfassen. Da LLMs zunehmend als Ersatz für andere Entitäten eingesetzt werden (z. B. für Menschen in ökonomischen Simulationen), führt die Tendenz vieler Modelle, zu einer einzigen plausiblen Antwort zu kollabieren, dazu, dass die Unvorhersagbarkeit realer Systeme nicht abgebildet wird. Neuere Arbeiten zur Verbesserung der Ausgabendiversität reichen für diesen Kontext nicht aus: Simulationen erfordern Stichproben, die auf eine Zielverteilung kalibriert sind, nicht bloß variierte Ausgaben. UnpredictaBench isoliert eine vereinfachte, aber grundlegende Version dieses Problems: die Ziehung von Stichproben aus einzelnen Zielverteilungen, darunter kanonische statistische Verteilungen, durch stochastische Programme induzierte Verteilungen sowie natursprachliche Szenarien, die Zufallsprozesse beschreiben. Wir führen 448 solcher Probleme zusammen mit KS@N ein, einer allgemeinen Bewertungsmetrik, die mithilfe des Kolmogorov-Smirnov-Statistiktests quantifiziert, wie gut Modellausgaben approximativ Black-Box-Zielverteilungen abbilden. Dabei handelt es sich um die Rate, mit der wir Modellstichproben der Größe N gegenüber Ground-Truth-Stichproben nicht ablehnen können; größere N bedeuten höhere Schwierigkeit. Getestet über offene und proprietäre Modelle hinweg zeigt sich eine große Spannbreite der verteilungsbezogenen Fähigkeiten. Beispielsweise liegen die Werte bei der Generierung von Stichproben der Größe 100 (KS@100, unsere Standardmetrik) zwischen nahe 0 und über 20 %. Kein Modell erreicht bei KS@100 mehr als 40 %, was einen erheblichen Entwicklungsspielraum bei der verteilungsbasierten Stichprobenziehung als Fähigkeit aufzeigt. Obwohl die Hinzunahme von Reasoning-Techniken die Werte etwas steigern kann, finden wir keine unmittelbare Lösung für dieses Problem. UnpredictaBench zeigt, dass selbst einfache verteilungsbasierte Simulationen herausfordernd bleiben, und stellt damit einen notwendigen ersten Schritt dar, um LLMs als Stellvertreter für komplexe Systeme einzusetzen.

English

We introduce UnpredictaBench, an evaluation that tests the ability of large language models (LLMs) to capture true underlying distributions. As LLMs are increasingly used as substitutes for other entities (e.g., for humans in economic simulations), the tendency of many models to collapse towards a single plausible answer means a failure to capture the unpredictability of real systems. Recent work on improving output diversity is insufficient for this setting: simulation requires samples that are calibrated to a target distribution, not merely varied outputs. UnpredictaBench isolates a simplified but fundamental version of this problem: sampling outcomes from individual target distributions, including canonical statistical distributions, distributions induced by stochastic programs, and natural-language scenarios that describe random processes. We introduce 448 such problems together with KS@N, a general-purpose evaluation metric that quantifies how well a model outputs approximate black-box target distributions via the Kolmogorov-Smirnov statistical test. This is the rate at which we fail to reject model samples of size N against ground-truth samples, with larger N indicating greater difficulty. Tested across open and proprietary models, we find a large spread in distributional capabilities. For instance, when models generate samples of size 100 (KS@100, our standard metric), scores range from near 0 to over 20%. No model is able to achieve over 40% at KS@100, showing significant headroom in distributional sampling as a capability. Although adding reasoning can somewhat increase scores, we find no immediate solution for this issue. UnpredictaBench shows that even simple distributional simulation remains challenging, making it a necessary first step toward using LLMs as stand-ins for complex systems.