OpenNovelty: 検証可能な学術的新規性評価のためのLLM駆動エージェントシステム

要旨

査読における新規性評価は重要であるが、課題も多い。審査者は限界なく拡大し急速に進化する学術文献と照合しつつ投稿論文を評価する必要がある。本報告では、透明性のある証拠に基づく新規性分析のためのLLM駆動エージェントシステム「OpenNovelty」を提案する。本システムは4段階で動作する：(1)中核的タスクと貢献主張を抽出し検索クエリを生成、(2)セマンティック検索エンジンによる抽出クエリに基づく関連先行研究の検索、(3)中核的タスク関連研究の階層的分類体系の構築と各貢献主張に対する全文比較の実施、(4)明示的な引用と証拠スニペットを伴う構造化新規性報告書への統合。単純なLLMベース手法と異なり、OpenNoveltyは全ての評価を検索された実在論文に基づき検証可能な判断を保証する。500件以上のICLR 2026投稿論文に本システムを適用し、全報告書を当ウェブサイトで公開している。予備分析では、著者が見落としがちな密接関連論文を含む関連先行研究を特定可能であることが示唆された。OpenNoveltyは、公平で一貫性があり証拠に基づく査読を促進するスケーラブルなツールとして研究コミュニティへの貢献を目指す。

English

Evaluating novelty is critical yet challenging in peer review, as reviewers must assess submissions against a vast, rapidly evolving literature. This report presents OpenNovelty, an LLM-powered agentic system for transparent, evidence-based novelty analysis. The system operates through four phases: (1) extracting the core task and contribution claims to generate retrieval queries; (2) retrieving relevant prior work based on extracted queries via semantic search engine; (3) constructing a hierarchical taxonomy of core-task-related work and performing contribution-level full-text comparisons against each contribution; and (4) synthesizing all analyses into a structured novelty report with explicit citations and evidence snippets. Unlike naive LLM-based approaches, OpenNovelty grounds all assessments in retrieved real papers, ensuring verifiable judgments. We deploy our system on 500+ ICLR 2026 submissions with all reports publicly available on our website, and preliminary analysis suggests it can identify relevant prior work, including closely related papers that authors may overlook. OpenNovelty aims to empower the research community with a scalable tool that promotes fair, consistent, and evidence-backed peer review.

OpenNovelty: 検証可能な学術的新規性評価のためのLLM駆動エージェントシステム

OpenNovelty: An LLM-powered Agentic System for Verifiable Scholarly Novelty Assessment

要旨

Support