InnoEval: sulla valutazione delle idee di ricerca come problema di ragionamento fondato sulla conoscenza e multi-prospettico
InnoEval: On Research Idea Evaluation as a Knowledge-Grounded, Multi-Perspective Reasoning Problem
February 16, 2026
Autori: Shuofei Qiao, Yunxiang Wei, Xuehai Wang, Bin Wu, Boyang Xue, Ningyu Zhang, Hossein A. Rahmani, Yanshan Wang, Qiang Zhang, Keyan Ding, Jeff Z. Pan, Huajun Chen, Emine Yilmaz
cs.AI
Abstract
La rapida evoluzione dei Large Language Model ha catalizzato un'impennata nella produzione di idee scientifiche, ma questo balzo in avanti non è stato accompagnato da un progresso equivalente nella valutazione delle idee. La natura fondamentale della valutazione scientifica richiede basi conoscitive solide, deliberazione collettiva e processi decisionali multi-criterio. Tuttavia, i metodi di valutazione esistenti spesso soffrono di orizzonti conoscitivi limitati, dimensioni di valutazione appiattite e il bias intrinseco dell'approccio "LLM-as-a-Judge". Per affrontare queste criticità, concettualizziamo la valutazione delle idee come un problema di ragionamento basato sulla conoscenza e multi-prospettica, introducendo InnoEval, un framework di valutazione dell'innovazione profonda progettato per emulare la valutazione delle idee a livello umano. Applichiamo un motore di ricerca eterogeneo di conoscenza profonda che recupera e fonda evidenze dinamiche da fonti online diversificate. Otteniamo inoltre un consenso valutativo attraverso un comitato di revisione dell'innovazione composto da revisori con distinti background accademici, abilitando una valutazione scomposta multi-dimensionale su molteplici metriche. Costruiamo dataset completi derivati da submission autorevoli sottoposte a revisione paritaria per valutare le prestazioni di InnoEval. Gli esperimenti dimostrano che InnoEval supera costantemente i baseline in compiti di valutazione point-wise, pair-wise e group-wise, mostrando pattern di giudizio e consensi altamente allineati con quelli di esperti umani.
English
The rapid evolution of Large Language Models has catalyzed a surge in scientific idea production, yet this leap has not been accompanied by a matching advance in idea evaluation. The fundamental nature of scientific evaluation needs knowledgeable grounding, collective deliberation, and multi-criteria decision-making. However, existing idea evaluation methods often suffer from narrow knowledge horizons, flattened evaluation dimensions, and the inherent bias in LLM-as-a-Judge. To address these, we regard idea evaluation as a knowledge-grounded, multi-perspective reasoning problem and introduce InnoEval, a deep innovation evaluation framework designed to emulate human-level idea assessment. We apply a heterogeneous deep knowledge search engine that retrieves and grounds dynamic evidence from diverse online sources. We further achieve review consensus with an innovation review board containing reviewers with distinct academic backgrounds, enabling a multi-dimensional decoupled evaluation across multiple metrics. We construct comprehensive datasets derived from authoritative peer-reviewed submissions to benchmark InnoEval. Experiments demonstrate that InnoEval can consistently outperform baselines in point-wise, pair-wise, and group-wise evaluation tasks, exhibiting judgment patterns and consensus highly aligned with human experts.