InfiniteScienceGym: Un Benchmark Illimitato e Generato Proceduralmente per l'Analisi Scientifica
InfiniteScienceGym: An Unbounded, Procedurally-Generated Benchmark for Scientific Analysis
April 14, 2026
Autori: Oliver Bentham, Vivek Srikumar
cs.AI
Abstract
I grandi modelli linguistici stanno emergendo come assistenti scientifici, ma valutare la loro capacità di ragionare a partire da dati empirici rimane una sfida. I benchmark derivati da studi pubblicati e annotazioni umane ereditano il bias di pubblicazione, il bias della conoscenza nota, il rumore nelle etichette e requisiti di archiviazione sostanziali. Presentiamo InfiniteScienceGym, un benchmark generato proceduralmente di repository scientifici abbinato a un compito verificabile di domanda-risposta. A partire da un seme, il simulatore genera deterministicamente un repository auto-contenuto con una struttura di directory realistica, file e dati tabellari, e un generatore di QA privilegiato produce sia domande a cui è possibile rispondere che domande a cui non è possibile rispondere, con una verità fondamentale esatta. Ciò rende possibile valutare il ragionamento basato su evidenze, l'astensione e l'analisi mediata da strumenti in un ambiente controllato senza distribuire un grande corpus statico. InfiniteScienceGym integra i benchmark scientifici reali prendendo di mira punti ciechi e modalità di fallimento che sono difficili da valutare utilizzando solo dataset pubblicati. Valutando sia modelli proprietari che open-weight, scopriamo che nessuno raggiunge più del 45% di accuratezza complessiva, che il riconoscimento di domande a cui non è possibile rispondere rimane una grande debolezza e che i modelli più potenti tendono a utilizzare gli strumenti in modo più efficace piuttosto che semplicemente consumare più token.
English
Large language models are emerging as scientific assistants, but evaluating their ability to reason from empirical data remains challenging. Benchmarks derived from published studies and human annotations inherit publication bias, known-knowledge bias, label noise, and substantial storage requirements. We present InfiniteScienceGym, a procedurally generated benchmark of scientific repositories paired with a verifiable question-answering task. From a seed, the simulator deterministically generates a self-contained repository with realistic directory structure, files, and tabular data, and a privileged QA generator produces both answerable and unanswerable questions with exact ground truth. This makes it possible to evaluate evidence-grounded reasoning, abstention, and tool-mediated analysis in a controlled setting without distributing a large static corpus. InfiniteScienceGym complements real scientific benchmarks by targeting blind spots and failure modes that are hard to evaluate using published datasets alone. Evaluating both proprietary and open-weight models, we find that none achieve more than 45% accuracy overall, that recognizing unanswerable questions remains a major weakness, and that stronger models tend to use tools more effectively rather than simply consuming more tokens.