InnoEval: 지식 기반 다중 관점 추론 문제로서의 연구 아이디어 평가

InnoEval: On Research Idea Evaluation as a Knowledge-Grounded, Multi-Perspective Reasoning Problem

February 16, 2026

저자: Shuofei Qiao, Yunxiang Wei, Xuehai Wang, Bin Wu, Boyang Xue, Ningyu Zhang, Hossein A. Rahmani, Yanshan Wang, Qiang Zhang, Keyan Ding, Jeff Z. Pan, Huajun Chen, Emine Yilmaz

cs.AI

초록

대규모 언어 모델의 급속한 발전은 과학적 아이디어 생산의 급증을 촉진했으나, 이러한 도약은 아이디어 평가의 동등한 발전을 동반하지 못했습니다. 과학적 평가의 본질적 특성은 전문적 기반 지식, 집단적 숙의, 다중 기준 의사 결정을 필요로 합니다. 그러나 기존 아이디어 평가 방법은 종종 제한된 지식 범위, 단순화된 평가 차원, 그리고 LLM-as-a-Judge의 내재된 편향 문제를 지니고 있습니다. 이를 해결하기 위해 우리는 아이디어 평가를 지식 기반의 다중 관점 추론 문제로 간주하고, 인간 수준의 아이디어 평가를 모방하도록 설계된 심층 혁신 평가 프레임워크인 InnoEval을 소개합니다. 우리는 다양한 온라인 소스로부터 동적 증거를 검색 및 기반으로 삼는 이종 심층 지식 검색 엔진을 적용합니다. 더 나아가 서로 다른 학문적 배경을 가진 평가자들로 구성된 혁신 검토 위원회를 통해 검토 합의를 달성함으로써, 여러 지표에 걸친 다차원적 분리 평가를 가능하게 합니다. 우리는 InnoEval의 성능을 벤치마크하기 위해 권위 있는 동료 검토 제출 자료에서 파생된 포괄적인 데이터셋을 구축했습니다. 실험 결과, InnoEval이 포인트별, 페어별, 그룹별 평가 과제에서 기준 모델들을 지속적으로 능가하며, 인간 전문가의 판단 패턴 및 합의와 높은 일치도를 보여줍니다.

English

The rapid evolution of Large Language Models has catalyzed a surge in scientific idea production, yet this leap has not been accompanied by a matching advance in idea evaluation. The fundamental nature of scientific evaluation needs knowledgeable grounding, collective deliberation, and multi-criteria decision-making. However, existing idea evaluation methods often suffer from narrow knowledge horizons, flattened evaluation dimensions, and the inherent bias in LLM-as-a-Judge. To address these, we regard idea evaluation as a knowledge-grounded, multi-perspective reasoning problem and introduce InnoEval, a deep innovation evaluation framework designed to emulate human-level idea assessment. We apply a heterogeneous deep knowledge search engine that retrieves and grounds dynamic evidence from diverse online sources. We further achieve review consensus with an innovation review board containing reviewers with distinct academic backgrounds, enabling a multi-dimensional decoupled evaluation across multiple metrics. We construct comprehensive datasets derived from authoritative peer-reviewed submissions to benchmark InnoEval. Experiments demonstrate that InnoEval can consistently outperform baselines in point-wise, pair-wise, and group-wise evaluation tasks, exhibiting judgment patterns and consensus highly aligned with human experts.