AbGen: Bewertung großer Sprachmodelle in der Gestaltung und Auswertung von Ablationsstudien für die wissenschaftliche Forschung

AbGen: Evaluating Large Language Models in Ablation Study Design and Evaluation for Scientific Research

July 17, 2025

papers.authors: Yilun Zhao, Weiyuan Chen, Zhijian Xu, Manasi Patwardhan, Yixin Liu, Chengye Wang, Lovekesh Vig, Arman Cohan

cs.AI

papers.abstract

Wir stellen AbGen vor, den ersten Benchmark, der entwickelt wurde, um die Fähigkeiten von LLMs (Large Language Models) bei der Gestaltung von Ablationsstudien für die wissenschaftliche Forschung zu bewerten. AbGen besteht aus 1.500 von Experten annotierten Beispielen, die aus 807 NLP-Publikationen abgeleitet wurden. In diesem Benchmark wird von LLMs die Aufgabe gestellt, detaillierte Entwürfe für Ablationsstudien zu einem spezifizierten Modul oder Prozess basierend auf dem gegebenen Forschungskontext zu generieren. Unsere Bewertung führender LLMs, wie DeepSeek-R1-0528 und o4-mini, zeigt eine deutliche Leistungslücke zwischen diesen Modellen und menschlichen Experten in Bezug auf die Bedeutung, Treue und Stichhaltigkeit der Ablationsstudienentwürfe. Darüber hinaus demonstrieren wir, dass aktuelle automatisierte Evaluierungsmethoden für unsere Aufgabe nicht zuverlässig sind, da sie im Vergleich zur menschlichen Bewertung eine erhebliche Diskrepanz aufweisen. Um dies besser zu untersuchen, entwickeln wir AbGen-Eval, einen Meta-Evaluierungs-Benchmark, der die Zuverlässigkeit gängiger automatisierter Evaluierungssysteme bei der Messung der LLM-Leistung in unserer Aufgabe bewertet. Wir untersuchen verschiedene LLM-as-Judge-Systeme auf AbGen-Eval und liefern Erkenntnisse für zukünftige Forschungen zur Entwicklung effektiverer und zuverlässigerer LLM-basierter Evaluierungssysteme für komplexe wissenschaftliche Aufgaben.

English

We introduce AbGen, the first benchmark designed to evaluate the capabilities of LLMs in designing ablation studies for scientific research. AbGen consists of 1,500 expert-annotated examples derived from 807 NLP papers. In this benchmark, LLMs are tasked with generating detailed ablation study designs for a specified module or process based on the given research context. Our evaluation of leading LLMs, such as DeepSeek-R1-0528 and o4-mini, highlights a significant performance gap between these models and human experts in terms of the importance, faithfulness, and soundness of the ablation study designs. Moreover, we demonstrate that current automated evaluation methods are not reliable for our task, as they show a significant discrepancy when compared to human assessment. To better investigate this, we develop AbGen-Eval, a meta-evaluation benchmark designed to assess the reliability of commonly used automated evaluation systems in measuring LLM performance on our task. We investigate various LLM-as-Judge systems on AbGen-Eval, providing insights for future research on developing more effective and reliable LLM-based evaluation systems for complex scientific tasks.