UnpredictaBench: Бенчмарк для оценки распределительной случайности в больших языковых моделях

Аннотация

Мы представляем UnpredictaBench — тест, оценивающий способность больших языковых моделей (БЯМ) улавливать истинные лежащие в основе распределения. По мере того как БЯМ всё чаще используются в качестве заменителей других сущностей (например, людей в экономических симуляциях), тенденция многих моделей схлопываться к единственному правдоподобному ответу означает неспособность отразить непредсказуемость реальных систем. Недавние работы по улучшению разнообразия выходных данных недостаточны для этого сценария: симуляция требует выборок, откалиброванных под целевое распределение, а не просто вариативных ответов. UnpredictaBench выделяет упрощённую, но фундаментальную версию этой задачи: извлечение результатов из индивидуальных целевых распределений, включая канонические статистические распределения, распределения, порождённые стохастическими программами, и сценарии на естественном языке, описывающие случайные процессы. Мы вводим 448 таких задач вместе с KS@N — универсальной метрикой оценки, которая количественно определяет, насколько хорошо модель производит аппроксимацию «чёрного ящика» целевых распределений с помощью статистического критерия Колмогорова–Смирнова. Это частота, с которой мы не можем отвергнуть гипотезу о том, что модельные выборки размера N взяты из того же распределения, что и эталонные (истинные) выборки; при этом большее N указывает на большую сложность. Протестировав открытые и проприетарные модели, мы обнаружили значительный разброс в способностях работы с распределениями. Например, когда модели генерируют выборки объёма 100 (KS@100 — наш стандартный показатель), оценки варьируются от почти 0% до более 20%. Ни одна модель не достигает более 40% по KS@100, что свидетельствует о значительном потенциале улучшения в способности к выборке из распределений. Хотя добавление рассуждений может несколько повысить баллы, мы не находим немедленного решения этой проблемы. UnpredictaBench показывает, что даже простая симуляция из распределений остаётся сложной задачей, что делает её необходимым первым шагом на пути к использованию БЯМ в качестве заменителей для сложных систем.

English

We introduce UnpredictaBench, an evaluation that tests the ability of large language models (LLMs) to capture true underlying distributions. As LLMs are increasingly used as substitutes for other entities (e.g., for humans in economic simulations), the tendency of many models to collapse towards a single plausible answer means a failure to capture the unpredictability of real systems. Recent work on improving output diversity is insufficient for this setting: simulation requires samples that are calibrated to a target distribution, not merely varied outputs. UnpredictaBench isolates a simplified but fundamental version of this problem: sampling outcomes from individual target distributions, including canonical statistical distributions, distributions induced by stochastic programs, and natural-language scenarios that describe random processes. We introduce 448 such problems together with KS@N, a general-purpose evaluation metric that quantifies how well a model outputs approximate black-box target distributions via the Kolmogorov-Smirnov statistical test. This is the rate at which we fail to reject model samples of size N against ground-truth samples, with larger N indicating greater difficulty. Tested across open and proprietary models, we find a large spread in distributional capabilities. For instance, when models generate samples of size 100 (KS@100, our standard metric), scores range from near 0 to over 20%. No model is able to achieve over 40% at KS@100, showing significant headroom in distributional sampling as a capability. Although adding reasoning can somewhat increase scores, we find no immediate solution for this issue. UnpredictaBench shows that even simple distributional simulation remains challenging, making it a necessary first step toward using LLMs as stand-ins for complex systems.