Unendliche Wissenschaftsarena: Ein unbegrenzter, prozedural generierter Maßstab für wissenschaftliche Analysen
InfiniteScienceGym: An Unbounded, Procedurally-Generated Benchmark for Scientific Analysis
April 14, 2026
Autoren: Oliver Bentham, Vivek Srikumar
cs.AI
Zusammenfassung
Große Sprachmodelle etablieren sich zunehmend als wissenschaftliche Assistenten, doch die Bewertung ihrer Fähigkeit, aus empirischen Daten zu schlussfolgern, bleibt eine Herausforderung. Benchmarks, die aus veröffentlichten Studien und menschlichen Annotationen abgeleitet werden, weisen Publikationsbias, Known-Knowledge-Bias, Labelrauschen und hohen Speicherbedarf auf. Wir stellen InfiniteScienceGym vor, einen prozedural generierten Benchmark wissenschaftlicher Repositorien, gekoppelt mit einer verifizierbaren Frage-Antwort-Aufgabe. Aus einem Startwert erzeugt der Simulator deterministisch ein in sich geschlossenes Repository mit realistischer Verzeichnisstruktur, Dateien und tabellarischen Daten, und ein privilegierter QA-Generator erzeugt sowohl beantwortbare als auch unbeantwortbare Fragen mit exakter Ground Truth. Dies ermöglicht die Bewertung von evidenzbasiertem Schlussfolgern, Zurückhaltung bei Unsicherheit und werkzeugvermittelter Analyse in einer kontrollierten Umgebung, ohne umfangreiche statische Korpora verteilen zu müssen. InfiniteScienceGym ergänzt reale wissenschaftliche Benchmarks, indem es gezielt blinde Flecken und Fehlermodi adressiert, die mit reinen Publikationsdatensätzen schwer zu evaluieren sind. Bei der Evaluation proprietärer und Open-Weight-Modelle stellen wir fest, dass keines eine Gesamtgenauigkeit von mehr als 45 % erreicht, dass die Erkennung unbeantwortbarer Fragen eine wesentliche Schwäche bleibt und dass leistungsstärkere Modelle Werkzeuge tendenziell effektiver nutzen, anstatt einfach mehr Tokens zu verbrauchen.
English
Large language models are emerging as scientific assistants, but evaluating their ability to reason from empirical data remains challenging. Benchmarks derived from published studies and human annotations inherit publication bias, known-knowledge bias, label noise, and substantial storage requirements. We present InfiniteScienceGym, a procedurally generated benchmark of scientific repositories paired with a verifiable question-answering task. From a seed, the simulator deterministically generates a self-contained repository with realistic directory structure, files, and tabular data, and a privileged QA generator produces both answerable and unanswerable questions with exact ground truth. This makes it possible to evaluate evidence-grounded reasoning, abstention, and tool-mediated analysis in a controlled setting without distributing a large static corpus. InfiniteScienceGym complements real scientific benchmarks by targeting blind spots and failure modes that are hard to evaluate using published datasets alone. Evaluating both proprietary and open-weight models, we find that none achieve more than 45% accuracy overall, that recognizing unanswerable questions remains a major weakness, and that stronger models tend to use tools more effectively rather than simply consuming more tokens.