OpenNovelty: Un Sistema Agente Basato su LLM per la Valutazione Verificabile della Novità Scientifica
OpenNovelty: An LLM-powered Agentic System for Verifiable Scholarly Novelty Assessment
January 4, 2026
Autori: Ming Zhang, Kexin Tan, Yueyuan Huang, Yujiong Shen, Chunchun Ma, Li Ju, Xinran Zhang, Yuhui Wang, Wenqing Jing, Jingyi Deng, Huayu Sha, Binze Hu, Jingqi Tong, Changhao Jiang, Yage Geng, Yuankai Ying, Yue Zhang, Zhangyue Yin, Zhiheng Xi, Shihan Dou, Tao Gui, Qi Zhang, Xuanjing Huang
cs.AI
Abstract
La valutazione della novità è cruciale ma impegnosa nella revisione paritaria, poiché i revisori devono valutare i contributi rispetto a una letteratura vasta e in rapida evoluzione. Questo rapporto presenta OpenNovelty, un sistema agente basato su LLM per un'analisi trasparente e basata su evidenze della novità. Il sistema opera attraverso quattro fasi: (1) estrazione del compito fondamentale e delle affermazioni di contributo per generare query di recupero; (2) recupero dei lavori precedenti rilevanti basato sulle query estratte tramite un motore di ricerca semantico; (3) costruzione di una tassonomia gerarchica del lavoro relativo al compito fondamentale ed esecuzione di confronti a livello di contributo sul testo completo per ciascun contributo; e (4) sintesi di tutte le analisi in un rapporto strutturato sulla novità con citazioni esplicite e frammenti di evidenza. A differenza degli approcci ingenui basati su LLM, OpenNovelty basa tutte le valutazioni su articoli reali recuperati, garantendo giudizi verificabili. Implementiamo il nostro sistema su oltre 500 contributi per ICLR 2026, con tutti i rapporti pubblicamente disponibili sul nostro sito web, e un'analisi preliminare suggerisce che esso possa identificare lavori precedenti rilevanti, inclusi articoli strettamente correlati che gli autori potrebbero trascurare. OpenNovelty mira a potenziare la comunità di ricerca con uno strumento scalabile che promuova una revisione paritaria equa, coerente e supportata da evidenze.
English
Evaluating novelty is critical yet challenging in peer review, as reviewers must assess submissions against a vast, rapidly evolving literature. This report presents OpenNovelty, an LLM-powered agentic system for transparent, evidence-based novelty analysis. The system operates through four phases: (1) extracting the core task and contribution claims to generate retrieval queries; (2) retrieving relevant prior work based on extracted queries via semantic search engine; (3) constructing a hierarchical taxonomy of core-task-related work and performing contribution-level full-text comparisons against each contribution; and (4) synthesizing all analyses into a structured novelty report with explicit citations and evidence snippets. Unlike naive LLM-based approaches, OpenNovelty grounds all assessments in retrieved real papers, ensuring verifiable judgments. We deploy our system on 500+ ICLR 2026 submissions with all reports publicly available on our website, and preliminary analysis suggests it can identify relevant prior work, including closely related papers that authors may overlook. OpenNovelty aims to empower the research community with a scalable tool that promotes fair, consistent, and evidence-backed peer review.