InnoEval: оценка исследовательских идей как задача обоснованного знаниями многоперспективного рассуждения
InnoEval: On Research Idea Evaluation as a Knowledge-Grounded, Multi-Perspective Reasoning Problem
February 16, 2026
Авторы: Shuofei Qiao, Yunxiang Wei, Xuehai Wang, Bin Wu, Boyang Xue, Ningyu Zhang, Hossein A. Rahmani, Yanshan Wang, Qiang Zhang, Keyan Ding, Jeff Z. Pan, Huajun Chen, Emine Yilmaz
cs.AI
Аннотация
Быстрая эволюция больших языковых моделей стимулировала всплеск генерации научных идей, однако этот скачок не сопровождался сопоставимым прогрессом в области оценки идей. Фундаментальная природа научной оценки требует опоры на экспертные знания, коллективного обсуждения и принятия решений на основе множества критериев. Однако существующие методы оценки идей часто страдают от ограниченности знаний, уплощения оценочных измерений и присущей модели «LLM-as-a-Judge» систематической ошибки. Для решения этих проблем мы рассматриваем оценку идей как проблему обоснованного знаниями и многоперспективного рассуждения и представляем InnoEval — глубокую систему оценки инноваций, разработанную для эмуляции оценки идей на уровне человека. Мы применяем гетерогенную систему глубинного поиска знаний, которая извлекает и обосновывает динамические доказательства из разнообразных онлайн-источников. Далее мы достигаем консенсуса в оценке с помощью совета по инновационному рецензированию, состоящего из рецензентов с различным академическим бэкграундом, что позволяет проводить многомерную разъединенную оценку по множеству метрик. Мы создали комплексные наборы данных на основе авторитетных рецензируемых материалов для тестирования InnoEval. Эксперименты показывают, что InnoEval стабильно превосходит базовые методы в поточечных, попарных и групповых оценочных задачах, демонстрируя паттерны суждений и консенсус,高度 согласованные с экспертами-людьми.
English
The rapid evolution of Large Language Models has catalyzed a surge in scientific idea production, yet this leap has not been accompanied by a matching advance in idea evaluation. The fundamental nature of scientific evaluation needs knowledgeable grounding, collective deliberation, and multi-criteria decision-making. However, existing idea evaluation methods often suffer from narrow knowledge horizons, flattened evaluation dimensions, and the inherent bias in LLM-as-a-Judge. To address these, we regard idea evaluation as a knowledge-grounded, multi-perspective reasoning problem and introduce InnoEval, a deep innovation evaluation framework designed to emulate human-level idea assessment. We apply a heterogeneous deep knowledge search engine that retrieves and grounds dynamic evidence from diverse online sources. We further achieve review consensus with an innovation review board containing reviewers with distinct academic backgrounds, enabling a multi-dimensional decoupled evaluation across multiple metrics. We construct comprehensive datasets derived from authoritative peer-reviewed submissions to benchmark InnoEval. Experiments demonstrate that InnoEval can consistently outperform baselines in point-wise, pair-wise, and group-wise evaluation tasks, exhibiting judgment patterns and consensus highly aligned with human experts.