OpenNovelty: 검증 가능한 학술 신규성 평가를 위한 LLM 기반 에이전트 시스템
OpenNovelty: An LLM-powered Agentic System for Verifiable Scholarly Novelty Assessment
January 4, 2026
저자: Ming Zhang, Kexin Tan, Yueyuan Huang, Yujiong Shen, Chunchun Ma, Li Ju, Xinran Zhang, Yuhui Wang, Wenqing Jing, Jingyi Deng, Huayu Sha, Binze Hu, Jingqi Tong, Changhao Jiang, Yage Geng, Yuankai Ying, Yue Zhang, Zhangyue Yin, Zhiheng Xi, Shihan Dou, Tao Gui, Qi Zhang, Xuanjing Huang
cs.AI
초록
동료 평가에서 참신성 평가는 중요하지만 어려운 과제이며, 심사자들은 방대하고 빠르게 진화하는 문헌에 비춰 제출된 논문을 평가해야 합니다. 본 보고서는 투명하고 증거 기반의 참신성 분석을 위한 LLM 기반 에이전트 시스템인 OpenNovelty를 소개합니다. 이 시스템은 네 단계로 운영됩니다: (1) 핵심 과제와 기여 주장을 추출하여 검색 질의를 생성하고; (2) 추출된 질의를 바탕으로 의미론적 검색 엔진을 통해 관련 기존 연구를 검색하며; (3) 핵심 과제와 관련된 연구의 계층적 분류 체계를 구성하고 각 기여 사항에 대해 기여 수준의 전문 비교를 수행하며; (4) 모든 분석을 명시적 인용과 증거 발췌문을 포함한 구조화된 참신성 보고서로 종합합니다. 단순한 LLM 기반 접근법과 달리, OpenNovelty는 모든 평가를 검색된 실제 논문에 기반하여 검증 가능한 판단을 보장합니다. 우리는 본 시스템을 500편 이상의 ICLR 2026 제출 논문에 적용했으며, 모든 보고서는 웹사이트에서 공개되어 있습니다. 예비 분석 결과, 본 시스템은 저자가 간과할 수 있는 밀접한 관련 논문을 포함하여 관련 기존 연구를 식별할 수 있는 것으로 나타났습니다. OpenNovelty는 공정하고 일관적이며 증거에 기반한 동료 평가를 촉진하는 확장 가능한 도구로 연구 커뮤니티에 기여하는 것을 목표로 합니다.
English
Evaluating novelty is critical yet challenging in peer review, as reviewers must assess submissions against a vast, rapidly evolving literature. This report presents OpenNovelty, an LLM-powered agentic system for transparent, evidence-based novelty analysis. The system operates through four phases: (1) extracting the core task and contribution claims to generate retrieval queries; (2) retrieving relevant prior work based on extracted queries via semantic search engine; (3) constructing a hierarchical taxonomy of core-task-related work and performing contribution-level full-text comparisons against each contribution; and (4) synthesizing all analyses into a structured novelty report with explicit citations and evidence snippets. Unlike naive LLM-based approaches, OpenNovelty grounds all assessments in retrieved real papers, ensuring verifiable judgments. We deploy our system on 500+ ICLR 2026 submissions with all reports publicly available on our website, and preliminary analysis suggests it can identify relevant prior work, including closely related papers that authors may overlook. OpenNovelty aims to empower the research community with a scalable tool that promotes fair, consistent, and evidence-backed peer review.