OpenNovelty: Um Sistema Agêntico Baseado em LLM para Avaliação Verificável da Novidade Acadêmica
OpenNovelty: An LLM-powered Agentic System for Verifiable Scholarly Novelty Assessment
January 4, 2026
Autores: Ming Zhang, Kexin Tan, Yueyuan Huang, Yujiong Shen, Chunchun Ma, Li Ju, Xinran Zhang, Yuhui Wang, Wenqing Jing, Jingyi Deng, Huayu Sha, Binze Hu, Jingqi Tong, Changhao Jiang, Yage Geng, Yuankai Ying, Yue Zhang, Zhangyue Yin, Zhiheng Xi, Shihan Dou, Tao Gui, Qi Zhang, Xuanjing Huang
cs.AI
Resumo
A avaliação da novidade é crucial, porém desafiadora, na revisão por pares, uma vez que os revisores devem analisar as submissões face a uma literatura vasta e em rápida evolução. Este relatório apresenta o OpenNovelty, um sistema agentivo baseado em LLM para análise de novidade transparente e baseada em evidências. O sistema opera através de quatro fases: (1) extração da tarefa principal e das alegações de contribuição para gerar consultas de recuperação; (2) recuperação de trabalhos prévios relevantes com base nas consultas extraídas através de um motor de busca semântica; (3) construção de uma taxonomia hierárquica do trabalho relacionado com a tarefa principal e realização de comparações de texto integral ao nível da contribuição para cada contribuição; e (4) síntese de todas as análises num relatório de novidade estruturado, com citações explícitas e excertos de evidências. Ao contrário de abordagens ingénuas baseadas em LLM, o OpenNovelty fundamenta todas as avaliações em artigos reais recuperados, garantindo julgamentos verificáveis. Implementamos o nosso sistema em mais de 500 submissões da ICLR 2026, com todos os relatórios disponíveis publicamente no nosso website, e a análise preliminar sugere que este consegue identificar trabalhos prévios relevantes, incluindo artigos intimamente relacionados que os autores podem ter negligenciado. O OpenNovelty visa capacitar a comunidade de investigação com uma ferramenta escalável que promove uma revisão por pares justa, consistente e suportada por evidências.
English
Evaluating novelty is critical yet challenging in peer review, as reviewers must assess submissions against a vast, rapidly evolving literature. This report presents OpenNovelty, an LLM-powered agentic system for transparent, evidence-based novelty analysis. The system operates through four phases: (1) extracting the core task and contribution claims to generate retrieval queries; (2) retrieving relevant prior work based on extracted queries via semantic search engine; (3) constructing a hierarchical taxonomy of core-task-related work and performing contribution-level full-text comparisons against each contribution; and (4) synthesizing all analyses into a structured novelty report with explicit citations and evidence snippets. Unlike naive LLM-based approaches, OpenNovelty grounds all assessments in retrieved real papers, ensuring verifiable judgments. We deploy our system on 500+ ICLR 2026 submissions with all reports publicly available on our website, and preliminary analysis suggests it can identify relevant prior work, including closely related papers that authors may overlook. OpenNovelty aims to empower the research community with a scalable tool that promotes fair, consistent, and evidence-backed peer review.