UnpredictaBench: een benchmark voor het evalueren van distributionele willekeur in LLM's

Samenvatting

We introduceren UnpredictaBench, een evaluatiemethode die het vermogen van grote taalmodellen (LLM's) om ware onderliggende verdelingen te vatten test. Nu LLM's steeds vaker worden ingezet als vervangers voor andere entiteiten (bijvoorbeeld voor mensen in economische simulaties), leidt de neiging van veel modellen om naar één enkel plausibel antwoord te convergeren tot een onvermogen om de onvoorspelbaarheid van echte systemen vast te leggen. Recent werk aan het verbeteren van outputdiversiteit is ontoereikend voor deze context: simulatie vereist steekproeven die zijn gekalibreerd op een doelverdeling, niet louter gevarieerde outputs. UnpredictaBench isoleert een vereenvoudigde maar fundamentele versie van dit probleem: het trekken van uitkomsten uit individuele doelverdelingen, waaronder canonieke statistische verdelingen, verdelingen geïnduceerd door stochastische programma's, en natuurlijke-taal-scenario's die willekeurige processen beschrijven. We introduceren 448 van dergelijke problemen samen met KS@N, een algemene evaluatiemetriek die kwantificeert hoe goed een model bij benadering black-box-doelverdelingen output via de Kolmogorov-Smirnov-statistische toets. Dit is de snelheid waarmee we modelsteekproeven van omvang N niet verwerpen tegenover grondwaarheidssteekproeven, waarbij een grotere N een grotere moeilijkheidsgraad aangeeft. Getest op open en propriëtaire modellen vinden we een grote spreiding in distributionele vermogens. Zo variëren scores van bijna 0 tot meer dan 20% wanneer modellen steekproeven van omvang 100 genereren (KS@100, onze standaardmetriek). Geen enkel model haalt meer dan 40% op KS@100, wat wijst op aanzienlijke ruimte voor verbetering van distributionele steekproeftrekking als vaardigheid. Hoewel het toevoegen van redenering de scores enigszins kan verhogen, vinden we geen onmiddellijke oplossing voor dit probleem. UnpredictaBench toont aan dat zelfs eenvoudige distributionele simulatie uitdagend blijft, wat het een noodzakelijke eerste stap maakt naar het gebruik van LLM's als plaatsvervangers voor complexe systemen.

English

We introduce UnpredictaBench, an evaluation that tests the ability of large language models (LLMs) to capture true underlying distributions. As LLMs are increasingly used as substitutes for other entities (e.g., for humans in economic simulations), the tendency of many models to collapse towards a single plausible answer means a failure to capture the unpredictability of real systems. Recent work on improving output diversity is insufficient for this setting: simulation requires samples that are calibrated to a target distribution, not merely varied outputs. UnpredictaBench isolates a simplified but fundamental version of this problem: sampling outcomes from individual target distributions, including canonical statistical distributions, distributions induced by stochastic programs, and natural-language scenarios that describe random processes. We introduce 448 such problems together with KS@N, a general-purpose evaluation metric that quantifies how well a model outputs approximate black-box target distributions via the Kolmogorov-Smirnov statistical test. This is the rate at which we fail to reject model samples of size N against ground-truth samples, with larger N indicating greater difficulty. Tested across open and proprietary models, we find a large spread in distributional capabilities. For instance, when models generate samples of size 100 (KS@100, our standard metric), scores range from near 0 to over 20%. No model is able to achieve over 40% at KS@100, showing significant headroom in distributional sampling as a capability. Although adding reasoning can somewhat increase scores, we find no immediate solution for this issue. UnpredictaBench shows that even simple distributional simulation remains challenging, making it a necessary first step toward using LLMs as stand-ins for complex systems.