AbGen : Évaluation des modèles de langage de grande taille dans la conception et l'évaluation d'études d'ablation pour la recherche scientifique
AbGen: Evaluating Large Language Models in Ablation Study Design and Evaluation for Scientific Research
July 17, 2025
papers.authors: Yilun Zhao, Weiyuan Chen, Zhijian Xu, Manasi Patwardhan, Yixin Liu, Chengye Wang, Lovekesh Vig, Arman Cohan
cs.AI
papers.abstract
Nous présentons AbGen, le premier benchmark conçu pour évaluer les capacités des modèles de langage (LLM) à concevoir des études d'ablation pour la recherche scientifique. AbGen se compose de 1 500 exemples annotés par des experts, issus de 807 articles en traitement automatique du langage naturel (NLP). Dans ce benchmark, les LLM sont chargés de générer des conceptions détaillées d'études d'ablation pour un module ou un processus spécifié, en se basant sur le contexte de recherche donné. Notre évaluation des LLM leaders, tels que DeepSeek-R1-0528 et o4-mini, met en évidence un écart de performance significatif entre ces modèles et les experts humains en termes d'importance, de fidélité et de robustesse des conceptions d'études d'ablation. De plus, nous démontrons que les méthodes d'évaluation automatisées actuelles ne sont pas fiables pour notre tâche, car elles présentent une divergence significative par rapport à l'évaluation humaine. Pour mieux étudier cela, nous développons AbGen-Eval, un benchmark de méta-évaluation conçu pour évaluer la fiabilité des systèmes d'évaluation automatisés couramment utilisés dans la mesure de la performance des LLM sur notre tâche. Nous examinons divers systèmes LLM-as-Judge sur AbGen-Eval, fournissant des insights pour les recherches futures visant à développer des systèmes d'évaluation basés sur les LLM plus efficaces et fiables pour des tâches scientifiques complexes.
English
We introduce AbGen, the first benchmark designed to evaluate the capabilities
of LLMs in designing ablation studies for scientific research. AbGen consists
of 1,500 expert-annotated examples derived from 807 NLP papers. In this
benchmark, LLMs are tasked with generating detailed ablation study designs for
a specified module or process based on the given research context. Our
evaluation of leading LLMs, such as DeepSeek-R1-0528 and o4-mini, highlights a
significant performance gap between these models and human experts in terms of
the importance, faithfulness, and soundness of the ablation study designs.
Moreover, we demonstrate that current automated evaluation methods are not
reliable for our task, as they show a significant discrepancy when compared to
human assessment. To better investigate this, we develop AbGen-Eval, a
meta-evaluation benchmark designed to assess the reliability of commonly used
automated evaluation systems in measuring LLM performance on our task. We
investigate various LLM-as-Judge systems on AbGen-Eval, providing insights for
future research on developing more effective and reliable LLM-based evaluation
systems for complex scientific tasks.