InfiniteScienceGym: Неограниченный, процедурно-генерируемый эталон для научного анализа

InfiniteScienceGym: An Unbounded, Procedurally-Generated Benchmark for Scientific Analysis

April 14, 2026

Авторы: Oliver Bentham, Vivek Srikumar

cs.AI

Аннотация

Крупные языковые модели становятся научными ассистентами, однако оценка их способности к рассуждению на основе эмпирических данных остается сложной задачей. Бенчмарки, созданные на основе опубликованных исследований и человеческих аннотаций, наследуют такие проблемы, как систематическая ошибка публикаций, смещение в сторону известных знаний, шум в разметке и значительные требования к хранению данных. Мы представляем InfiniteScienceGym — процедурно генерируемый бенчмарк научных репозиториев, сопряженный с верифицируемой задачей «вопрос-ответ». На основе исходного затравки симулятор детерминированно генерирует самодостаточный репозиторий с реалистичной структурой каталогов, файлами и табличными данными, а привилегированный генератор вопросов создает как отвечаемые, так и неотвечаемые вопросы с точными эталонными ответами. Это позволяет оценивать обоснованное доказательствами рассуждение, способность воздерживаться от ответа и инструментально опосредованный анализ в контролируемых условиях без распространения крупного статического корпуса. InfiniteScienceGym дополняет реальные научные бенчмарки, нацеливаясь на слепые зоны и режимы сбоев, которые сложно оценить, используя только опубликованные наборы данных. Оценивая как проприетарные, так и открытые модели, мы обнаружили, что ни одна из них не достигает общей точности выше 45%, что распознавание неотвечаемых вопросов остается серьезным недостатком и что более сильные модели склонны эффективнее использовать инструменты, а не просто потреблять больше токенов.

English

Large language models are emerging as scientific assistants, but evaluating their ability to reason from empirical data remains challenging. Benchmarks derived from published studies and human annotations inherit publication bias, known-knowledge bias, label noise, and substantial storage requirements. We present InfiniteScienceGym, a procedurally generated benchmark of scientific repositories paired with a verifiable question-answering task. From a seed, the simulator deterministically generates a self-contained repository with realistic directory structure, files, and tabular data, and a privileged QA generator produces both answerable and unanswerable questions with exact ground truth. This makes it possible to evaluate evidence-grounded reasoning, abstention, and tool-mediated analysis in a controlled setting without distributing a large static corpus. InfiniteScienceGym complements real scientific benchmarks by targeting blind spots and failure modes that are hard to evaluate using published datasets alone. Evaluating both proprietary and open-weight models, we find that none achieve more than 45% accuracy overall, that recognizing unanswerable questions remains a major weakness, and that stronger models tend to use tools more effectively rather than simply consuming more tokens.