InnoEval: Zur Bewertung von Forschungsansätzen als wissensbasiertes, multiperspektivisches Schlussfolgerungsproblem
InnoEval: On Research Idea Evaluation as a Knowledge-Grounded, Multi-Perspective Reasoning Problem
February 16, 2026
papers.authors: Shuofei Qiao, Yunxiang Wei, Xuehai Wang, Bin Wu, Boyang Xue, Ningyu Zhang, Hossein A. Rahmani, Yanshan Wang, Qiang Zhang, Keyan Ding, Jeff Z. Pan, Huajun Chen, Emine Yilmaz
cs.AI
papers.abstract
Die rasante Entwicklung großer Sprachmodelle hat einen Schub in der Produktion wissenschaftlicher Ideen katalysiert, doch diesem Sprung ist kein entsprechender Fortschritt in der Bewertung von Ideen gefolgt. Die grundlegende Natur der wissenschaftlichen Bewertung erfordert fundiertes Wissen, kollektive Beratung und multikriterielle Entscheidungsfindung. Allerdings leiden bestehende Methoden zur Ideenbewertung oft unter begrenzten Wissenshorizonten, vereinfachten Bewertungsdimensionen und der inhärenten Verzerrung von LLM-as-a-Judge. Um diese Probleme anzugehen, betrachten wir die Ideenbewertung als ein wissensbasiertes, multiperspektivisches Reasoning-Problem und führen InnoEval ein, ein tiefgehendes Innovationsbewertungsframework, das entwickelt wurde, um eine menschenähnliche Ideenbewertung zu emulieren. Wir verwenden eine heterogene Wissenssuchmaschine, die dynamische Evidenz aus verschiedenen Online-Quellen abruft und verankert. Darüber hinaus erreichen wir einen Bewertungskonsens durch ein Innovationsgremium, das Gutachter mit unterschiedlichen akademischen Hintergründen umfasst und so eine mehrdimensionale, entkoppelte Bewertung über mehrere Metriken hinweg ermöglicht. Wir konstruieren umfassende Datensätze, die auf autoritativen, begutachteten Einreichungen basieren, um InnoEval zu benchmarken. Experimente zeigen, dass InnoEval Baseline-Methoden durchgängig in punktuellen, paarweisen und gruppenweisen Bewertungsaufgaben übertreffen kann und Urteilsmuster sowie einen Konsens zeigt, die stark mit denen menschlicher Experten übereinstimmen.
English
The rapid evolution of Large Language Models has catalyzed a surge in scientific idea production, yet this leap has not been accompanied by a matching advance in idea evaluation. The fundamental nature of scientific evaluation needs knowledgeable grounding, collective deliberation, and multi-criteria decision-making. However, existing idea evaluation methods often suffer from narrow knowledge horizons, flattened evaluation dimensions, and the inherent bias in LLM-as-a-Judge. To address these, we regard idea evaluation as a knowledge-grounded, multi-perspective reasoning problem and introduce InnoEval, a deep innovation evaluation framework designed to emulate human-level idea assessment. We apply a heterogeneous deep knowledge search engine that retrieves and grounds dynamic evidence from diverse online sources. We further achieve review consensus with an innovation review board containing reviewers with distinct academic backgrounds, enabling a multi-dimensional decoupled evaluation across multiple metrics. We construct comprehensive datasets derived from authoritative peer-reviewed submissions to benchmark InnoEval. Experiments demonstrate that InnoEval can consistently outperform baselines in point-wise, pair-wise, and group-wise evaluation tasks, exhibiting judgment patterns and consensus highly aligned with human experts.