OpenNovelty: Ein agentenbasiertes, LLM-gestütztes System zur verifizierbaren Bewertung wissenschaftlicher Neuheit
OpenNovelty: An LLM-powered Agentic System for Verifiable Scholarly Novelty Assessment
January 4, 2026
papers.authors: Ming Zhang, Kexin Tan, Yueyuan Huang, Yujiong Shen, Chunchun Ma, Li Ju, Xinran Zhang, Yuhui Wang, Wenqing Jing, Jingyi Deng, Huayu Sha, Binze Hu, Jingqi Tong, Changhao Jiang, Yage Geng, Yuankai Ying, Yue Zhang, Zhangyue Yin, Zhiheng Xi, Shihan Dou, Tao Gui, Qi Zhang, Xuanjing Huang
cs.AI
papers.abstract
Die Bewertung von Neuartigkeit ist im Peer-Review von entscheidender Bedeutung, aber auch äußerst anspruchsvoll, da Gutachter Einreichungen anhand einer umfangreichen und sich schnell entwickelnden Literatur beurteilen müssen. Dieser Bericht stellt OpenNovelty vor, ein agentenbasiertes System, das auf großen Sprachmodellen (LLM) basiert und eine transparente, evidenzbasierte Neuartigkeitsanalyse ermöglicht. Das System arbeitet in vier Phasen: (1) Extraktion der Kernaufgabe und der Beitragsaussagen zur Generierung von Suchanfragen; (2) Abruf relevanter Vorarbeiten auf Basis der extrahierten Anfragen über eine semantische Suchmaschine; (3) Erstellung einer hierarchischen Taxonomie der kernaufgabenbezogenen Arbeiten und durchführung von Beitragsvergleichen auf Volltextebene für jeden Beitrag; und (4) Synthese aller Analysen zu einem strukturierten Neuartigkeitsbericht mit expliziten Zitaten und Evidenzausschnitten. Im Gegensatz zu naiven LLM-basierten Ansätzen stützt OpenNovelty alle Bewertungen auf abgerufene, echte wissenschaftliche Arbeiten und gewährleistet so überprüfbare Urteile. Wir haben unser System auf über 500 Einreichungen für die ICLR 2026 eingesetzt; alle Berichte sind öffentlich auf unserer Website verfügbar. Eine vorläufige Analyse deutet darauf hin, dass es relevante Vorarbeiten identifizieren kann, einschließlich eng verwandter Arbeiten, die von den Autoren möglicherweise übersehen wurden. OpenNovelty zielt darauf ab, die Forschungsgemeinschaft mit einem skalierbaren Werkzeug zu unterstützen, das einen fairen, konsistenten und evidenzgestützten Peer-Review fördert.
English
Evaluating novelty is critical yet challenging in peer review, as reviewers must assess submissions against a vast, rapidly evolving literature. This report presents OpenNovelty, an LLM-powered agentic system for transparent, evidence-based novelty analysis. The system operates through four phases: (1) extracting the core task and contribution claims to generate retrieval queries; (2) retrieving relevant prior work based on extracted queries via semantic search engine; (3) constructing a hierarchical taxonomy of core-task-related work and performing contribution-level full-text comparisons against each contribution; and (4) synthesizing all analyses into a structured novelty report with explicit citations and evidence snippets. Unlike naive LLM-based approaches, OpenNovelty grounds all assessments in retrieved real papers, ensuring verifiable judgments. We deploy our system on 500+ ICLR 2026 submissions with all reports publicly available on our website, and preliminary analysis suggests it can identify relevant prior work, including closely related papers that authors may overlook. OpenNovelty aims to empower the research community with a scalable tool that promotes fair, consistent, and evidence-backed peer review.