InfiniteScienceGym : Un Benchmark Scientifique Illimité et Généré Procéduralement pour l'Analyse
InfiniteScienceGym: An Unbounded, Procedurally-Generated Benchmark for Scientific Analysis
April 14, 2026
Auteurs: Oliver Bentham, Vivek Srikumar
cs.AI
Résumé
Les grands modèles de langage émergent en tant qu'assistants scientifiques, mais évaluer leur capacité à raisonner à partir de données empiriques reste un défi. Les benchmarks dérivés d'études publiées et d'annotations humaines héritent de biais de publication, de biais de connaissances établies, de bruit dans les étiquettes et d'exigences de stockage substantielles. Nous présentons InfiniteScienceGym, un benchmark généré de manière procédurale de dépôts scientifiques couplé à une tâche vérifiable de question-réponse. À partir d'une graine, le simulateur génère de manière déterministe un dépôt autonome avec une structure de répertoires, des fichiers et des données tabulaires réalistes, et un générateur de questions privilégié produit à la fois des questions solubles et insolubles avec une vérité terrain exacte. Cela permet d'évaluer le raisonnement fondé sur des preuves, l'abstention et l'analyse médiée par des outils dans un cadre contrôlé sans distribuer un large corpus statique. InfiniteScienceGym complète les benchmarks scientifiques réels en ciblant les angles morts et les modes d'échec difficiles à évaluer en utilisant uniquement des jeux de données publiés. En évaluant à la fois des modèles propriétaires et à poids ouverts, nous constatons qu'aucun n'atteint plus de 45 % de précision globale, que la reconnaissance des questions insolubles reste une faiblesse majeure, et que les modèles plus performants tendent à utiliser les outils plus efficacement plutôt que de simplement consommer plus de tokens.
English
Large language models are emerging as scientific assistants, but evaluating their ability to reason from empirical data remains challenging. Benchmarks derived from published studies and human annotations inherit publication bias, known-knowledge bias, label noise, and substantial storage requirements. We present InfiniteScienceGym, a procedurally generated benchmark of scientific repositories paired with a verifiable question-answering task. From a seed, the simulator deterministically generates a self-contained repository with realistic directory structure, files, and tabular data, and a privileged QA generator produces both answerable and unanswerable questions with exact ground truth. This makes it possible to evaluate evidence-grounded reasoning, abstention, and tool-mediated analysis in a controlled setting without distributing a large static corpus. InfiniteScienceGym complements real scientific benchmarks by targeting blind spots and failure modes that are hard to evaluate using published datasets alone. Evaluating both proprietary and open-weight models, we find that none achieve more than 45% accuracy overall, that recognizing unanswerable questions remains a major weakness, and that stronger models tend to use tools more effectively rather than simply consuming more tokens.