InnoEval: Over Onderzoeksideeënevaluatie als een Kennisgegrond, Multi-Perspectief Redeneerprobleem
InnoEval: On Research Idea Evaluation as a Knowledge-Grounded, Multi-Perspective Reasoning Problem
February 16, 2026
Auteurs: Shuofei Qiao, Yunxiang Wei, Xuehai Wang, Bin Wu, Boyang Xue, Ningyu Zhang, Hossein A. Rahmani, Yanshan Wang, Qiang Zhang, Keyan Ding, Jeff Z. Pan, Huajun Chen, Emine Yilmaz
cs.AI
Samenvatting
De snelle evolutie van grootschalige taalmodel(len) heeft een sterke toename in de productie van wetenschappelijke ideeën gekatalyseerd, maar deze sprong voorwaarts is niet gepaard gegaan met een evenredige vooruitgang in de evaluatie van ideeën. De fundamentele aard van wetenschappelijke evaluatie vereist een kennisbasis, collectieve beraadslaging en multi-criteria besluitvorming. Bestaande methoden voor ideeënevaluatie kampen echter vaak met beperkte kennis, afgeplatte evaluatiedimensies en de inherente bias van het 'LLM-als-rechter'-model. Om deze problemen aan te pakken, benaderen we ideeënevaluatie als een kennisgebaseerd, multi-perspectief redeneerprobleem en introduceren we InnoEval, een diepgaand innovatie-evaluatieraamwerk ontworpen om evaluatie op menselijk niveau na te bootsen. We passen een heterogene kenniszoekmachine toe die dynamisch bewijs ophaalt en verankert vanuit diverse online bronnen. Verder bereiken we een beoordelingsconsensus via een innovatiebeoordelingsraad met recensenten van uiteenlopende academische achtergronden, wat een multidimensionale, ontkoppelde evaluatie over meerdere metrieken mogelijk maakt. We construeren uitgebreide datasets, afgeleid van autoritair peer-reviewed materiaal, om InnoEval te benchmarken. Experimenten tonen aan dat InnoEval consistent de baseline-methoden kan overtreffen in puntgewijze, paarsgewijze en groepsgewijze evaluatietaken, waarbij het oordeelspatroon en de consensus sterk overeenkomen met die van menselijke experts.
English
The rapid evolution of Large Language Models has catalyzed a surge in scientific idea production, yet this leap has not been accompanied by a matching advance in idea evaluation. The fundamental nature of scientific evaluation needs knowledgeable grounding, collective deliberation, and multi-criteria decision-making. However, existing idea evaluation methods often suffer from narrow knowledge horizons, flattened evaluation dimensions, and the inherent bias in LLM-as-a-Judge. To address these, we regard idea evaluation as a knowledge-grounded, multi-perspective reasoning problem and introduce InnoEval, a deep innovation evaluation framework designed to emulate human-level idea assessment. We apply a heterogeneous deep knowledge search engine that retrieves and grounds dynamic evidence from diverse online sources. We further achieve review consensus with an innovation review board containing reviewers with distinct academic backgrounds, enabling a multi-dimensional decoupled evaluation across multiple metrics. We construct comprehensive datasets derived from authoritative peer-reviewed submissions to benchmark InnoEval. Experiments demonstrate that InnoEval can consistently outperform baselines in point-wise, pair-wise, and group-wise evaluation tasks, exhibiting judgment patterns and consensus highly aligned with human experts.