NatureBench : Les agents de codage peuvent-ils atteindre le niveau de l'état de l'art publié des articles de la famille Nature ?

Résumé

Nous présentons NatureBench, un benchmark interdisciplinaire composé de 90 tâches issues de publications évaluées par les pairs de la famille Nature, conçu pour évaluer dans quelle mesure les agents de codage en IA peuvent dépasser la reproduction pour tendre vers la découverte sur des problèmes scientifiques réels. NatureBench repose sur NatureGym, un pipeline automatisé qui construit, à partir d’un article source, un environnement conteneurisé standardisé par tâche, répondant ainsi au problème de fragmentation des environnements qui limitait la crédibilité des précédents benchmarks de recherche basés sur des agents. En évaluant dix configurations d’agents de pointe selon un protocole strict sans accès à la recherche web, nous constatons que le modèle le plus performant ne dépasse l’état de l’art que sur 17,8 % des tâches selon le critère g > 0,1. L’analyse des voies méthodologiques révèle que les agents réussissent principalement par traduction méthodologique, convertissant les tâches scientifiques en problèmes de prédiction supervisée familiers, plutôt que par une véritable invention scientifique. Les échecs sont dominés par un mauvais choix de méthode et un budget de calcul insuffisant, et non par une incompréhension de la tâche. Nous publions le benchmark, le pipeline NatureGym ainsi qu’un classement public avec reproduction côté mainteneur. Code : https://github.com/FrontisAI/NatureBench

English

We introduce NatureBench, a cross-discipline benchmark of 90 tasks distilled from peer-reviewed Nature-family publications, designed to evaluate whether AI coding agents can move beyond reproduction toward discovery on real scientific problems. NatureBench is built on NatureGym, an automated pipeline that constructs a standardized, per-task containerized environment from a source paper, addressing the environment-fragmentation problem that has limited the credibility of prior agent-on-research benchmarks. Evaluating ten frontier agent configurations under a strict web-search-disabled protocol, we find that the strongest model surpasses SOTA on only 17.8% of tasks under the g>0.1 criterion. Analysis of method pathways reveals that agents succeed primarily through methodological translation, converting scientific tasks into familiar supervised prediction problems, rather than through genuine scientific invention. Failures are dominated by wrong method choice and insufficient compute budget, not by task misunderstanding. We release the benchmark, the NatureGym pipeline, and a public leaderboard with maintainer-side reproduction. Code: https://github.com/FrontisAI/NatureBench