InnoEval: Sobre la Evaluación de Ideas de Investigación como un Problema de Razonamiento con Base de Conocimiento y Perspectivas Múltiples
InnoEval: On Research Idea Evaluation as a Knowledge-Grounded, Multi-Perspective Reasoning Problem
February 16, 2026
Autores: Shuofei Qiao, Yunxiang Wei, Xuehai Wang, Bin Wu, Boyang Xue, Ningyu Zhang, Hossein A. Rahmani, Yanshan Wang, Qiang Zhang, Keyan Ding, Jeff Z. Pan, Huajun Chen, Emine Yilmaz
cs.AI
Resumen
La rápida evolución de los Modelos de Lenguaje a Gran Escala ha catalizado un auge en la producción de ideas científicas, aunque este salto no ha ido acompañado de un avance equivalente en la evaluación de dichas ideas. La naturaleza fundamental de la evaluación científica requiere una base de conocimiento, una deliberación colectiva y una toma de decisiones multicriterio. Sin embargo, los métodos de evaluación de ideas existentes suelen adolecer de horizontes de conocimiento limitados, dimensiones de evaluación simplificadas y el sesgo inherente al enfoque de "LLM como Juez". Para abordar estos problemas, concebimos la evaluación de ideas como un problema de razonamiento con base de conocimiento y desde múltiples perspectivas, e introducimos InnoEval, un marco de evaluación de la innovación profunda diseñado para emular la evaluación de ideas a nivel humano. Aplicamos un motor de búsqueda de conocimiento profundo y heterogéneo que recupera y fundamenta evidencia dinámica de diversas fuentes en línea. Además, logramos un consenso en la revisión mediante un comité de evaluación de la innovación compuesto por revisores con distintos antecedentes académicos, lo que permite una evaluación desacoplada y multidimensional a través de múltiples métricas. Construimos conjuntos de datos exhaustivos derivados de envíos autorizados revisados por pares para evaluar el rendimiento de InnoEval. Los experimentos demuestran que InnoEval supera consistentemente a los métodos de referencia en tareas de evaluación puntual, por pares y por grupos, exhibiendo patrones de juicio y consenso altamente alineados con los de expertos humanos.
English
The rapid evolution of Large Language Models has catalyzed a surge in scientific idea production, yet this leap has not been accompanied by a matching advance in idea evaluation. The fundamental nature of scientific evaluation needs knowledgeable grounding, collective deliberation, and multi-criteria decision-making. However, existing idea evaluation methods often suffer from narrow knowledge horizons, flattened evaluation dimensions, and the inherent bias in LLM-as-a-Judge. To address these, we regard idea evaluation as a knowledge-grounded, multi-perspective reasoning problem and introduce InnoEval, a deep innovation evaluation framework designed to emulate human-level idea assessment. We apply a heterogeneous deep knowledge search engine that retrieves and grounds dynamic evidence from diverse online sources. We further achieve review consensus with an innovation review board containing reviewers with distinct academic backgrounds, enabling a multi-dimensional decoupled evaluation across multiple metrics. We construct comprehensive datasets derived from authoritative peer-reviewed submissions to benchmark InnoEval. Experiments demonstrate that InnoEval can consistently outperform baselines in point-wise, pair-wise, and group-wise evaluation tasks, exhibiting judgment patterns and consensus highly aligned with human experts.