OpenNovelty: Un Sistema Agéntico Basado en LLM para la Evaluación Verificable de la Novedad Académica
OpenNovelty: An LLM-powered Agentic System for Verifiable Scholarly Novelty Assessment
January 4, 2026
Autores: Ming Zhang, Kexin Tan, Yueyuan Huang, Yujiong Shen, Chunchun Ma, Li Ju, Xinran Zhang, Yuhui Wang, Wenqing Jing, Jingyi Deng, Huayu Sha, Binze Hu, Jingqi Tong, Changhao Jiang, Yage Geng, Yuankai Ying, Yue Zhang, Zhangyue Yin, Zhiheng Xi, Shihan Dou, Tao Gui, Qi Zhang, Xuanjing Huang
cs.AI
Resumen
La evaluación de la novedad es crucial pero desafiante en la revisión por pares, ya que los revisores deben evaluar los envíos frente a una literatura vasta y en rápida evolución. Este informe presenta OpenNovelty, un sistema agéntico basado en LLM para un análisis de novedad transparente y basado en evidencia. El sistema opera a través de cuatro fases: (1) extraer la tarea central y las afirmaciones de contribución para generar consultas de recuperación; (2) recuperar trabajos previos relevantes basándose en las consultas extraídas mediante un motor de búsqueda semántica; (3) construir una taxonomía jerárquica del trabajo relacionado con la tarea central y realizar comparaciones de texto completo a nivel de contribución contra cada contribución; y (4) sintetizar todos los análisis en un informe de novedad estructurado con citas explícitas y fragmentos de evidencia. A diferencia de los enfoques ingenuos basados en LLM, OpenNovelty fundamenta todas las evaluaciones en artículos reales recuperados, garantizando juicios verificables. Desplegamos nuestro sistema en más de 500 envíos a ICLR 2026, con todos los informes disponibles públicamente en nuestro sitio web, y el análisis preliminar sugiere que puede identificar trabajos previos relevantes, incluyendo artículos estrechamente relacionados que los autores podrían pasar por alto. OpenNovelty tiene como objetivo empoderar a la comunidad investigadora con una herramienta escalable que promueva una revisión por pares justa, consistente y respaldada por evidencia.
English
Evaluating novelty is critical yet challenging in peer review, as reviewers must assess submissions against a vast, rapidly evolving literature. This report presents OpenNovelty, an LLM-powered agentic system for transparent, evidence-based novelty analysis. The system operates through four phases: (1) extracting the core task and contribution claims to generate retrieval queries; (2) retrieving relevant prior work based on extracted queries via semantic search engine; (3) constructing a hierarchical taxonomy of core-task-related work and performing contribution-level full-text comparisons against each contribution; and (4) synthesizing all analyses into a structured novelty report with explicit citations and evidence snippets. Unlike naive LLM-based approaches, OpenNovelty grounds all assessments in retrieved real papers, ensuring verifiable judgments. We deploy our system on 500+ ICLR 2026 submissions with all reports publicly available on our website, and preliminary analysis suggests it can identify relevant prior work, including closely related papers that authors may overlook. OpenNovelty aims to empower the research community with a scalable tool that promotes fair, consistent, and evidence-backed peer review.