OpenNovelty: Een op LLM gebaseerd agent-systeem voor verifieerbare wetenschappelijke nieuwheidsbeoordeling
OpenNovelty: An LLM-powered Agentic System for Verifiable Scholarly Novelty Assessment
January 4, 2026
Auteurs: Ming Zhang, Kexin Tan, Yueyuan Huang, Yujiong Shen, Chunchun Ma, Li Ju, Xinran Zhang, Yuhui Wang, Wenqing Jing, Jingyi Deng, Huayu Sha, Binze Hu, Jingqi Tong, Changhao Jiang, Yage Geng, Yuankai Ying, Yue Zhang, Zhangyue Yin, Zhiheng Xi, Shihan Dou, Tao Gui, Qi Zhang, Xuanjing Huang
cs.AI
Samenvatting
Het beoordelen van originaliteit is cruciaal maar uitdagend bij peer review, omdat beoordelaars inzendingen moeten toetsen aan een uitgebreide, snel evoluerende literatuur. Dit rapport presenteert OpenNovelty, een op LLM gebaseerd agent-systeem voor transparante, op bewijs gestoelde originaliteitsanalyse. Het systeem werkt via vier fasen: (1) het extraheren van de kerntaak en bijdrageclaims om zoektermen te genereren; (2) het ophalen van relevante eerdere werken op basis van de geëxtraheerde zoektermen via een semantische zoekmachine; (3) het construeren van een hiërarchische taxonomie van kerntaak-gerelateerd werk en het uitvoeren van volledige-tekstvergelijkingen op bijdrageniveau voor elke bijdrage; en (4) het synthetiseren van alle analyses in een gestructureerd originaliteitsrapport met expliciete citaten en bewijsstukken. In tegenstelling tot naïeve op LLM gebaseerde benaderingen, grondvest OpenNovelty alle beoordelingen in opgehaalde echte publicaties, wat controleerbare oordelen waarborgt. We implementeren ons systeem op 500+ ICLR 2026-inzendingen met alle rapporten openbaar beschikbaar op onze website, en voorlopige analyse suggereert dat het relevante eerdere werken kan identificeren, inclusief nauw verwante publicaties die auteurs mogelijk over het hoofd zien. OpenNovelty beoogt de onderzoeksgemeenschap te empoweren met een schaalbaar instrument dat een eerlijke, consistente en op bewijs gestoelde peer review bevordert.
English
Evaluating novelty is critical yet challenging in peer review, as reviewers must assess submissions against a vast, rapidly evolving literature. This report presents OpenNovelty, an LLM-powered agentic system for transparent, evidence-based novelty analysis. The system operates through four phases: (1) extracting the core task and contribution claims to generate retrieval queries; (2) retrieving relevant prior work based on extracted queries via semantic search engine; (3) constructing a hierarchical taxonomy of core-task-related work and performing contribution-level full-text comparisons against each contribution; and (4) synthesizing all analyses into a structured novelty report with explicit citations and evidence snippets. Unlike naive LLM-based approaches, OpenNovelty grounds all assessments in retrieved real papers, ensuring verifiable judgments. We deploy our system on 500+ ICLR 2026 submissions with all reports publicly available on our website, and preliminary analysis suggests it can identify relevant prior work, including closely related papers that authors may overlook. OpenNovelty aims to empower the research community with a scalable tool that promotes fair, consistent, and evidence-backed peer review.