OpenNovelty : Un système agentique alimenté par un LLM pour l'évaluation vérifiable de la nouveauté scientifique
OpenNovelty: An LLM-powered Agentic System for Verifiable Scholarly Novelty Assessment
January 4, 2026
papers.authors: Ming Zhang, Kexin Tan, Yueyuan Huang, Yujiong Shen, Chunchun Ma, Li Ju, Xinran Zhang, Yuhui Wang, Wenqing Jing, Jingyi Deng, Huayu Sha, Binze Hu, Jingqi Tong, Changhao Jiang, Yage Geng, Yuankai Ying, Yue Zhang, Zhangyue Yin, Zhiheng Xi, Shihan Dou, Tao Gui, Qi Zhang, Xuanjing Huang
cs.AI
papers.abstract
L'évaluation de la nouveauté est cruciale mais difficile dans l'examen par les pairs, car les évaluateurs doivent juger les soumissions par rapport à une littérature vaste et en évolution rapide. Ce rapport présente OpenNovelty, un système agentique alimenté par un LLM pour une analyse transparente et fondée sur des preuves de la nouveauté. Le système fonctionne en quatre phases : (1) l'extraction de la tâche principale et des revendications de contribution pour générer des requêtes de recherche ; (2) la récupération des travaux antérieurs pertinents via un moteur de recherche sémantique basé sur les requêtes extraites ; (3) la construction d'une taxonomie hiérarchique des travaux liés à la tâche principale et la réalisation de comparaisons en texte intégral au niveau des contributions pour chaque revendication ; et (4) la synthèse de toutes les analyses en un rapport de nouveauté structuré avec des citations explicites et des extraits de preuves. Contrairement aux approches naïves basées sur les LLM, OpenNovelty ancre toutes les évaluations dans des articles réels récupérés, garantissant des jugements vérifiables. Nous déployons notre système sur plus de 500 soumissions à l'ICLR 2026, tous les rapports étant disponibles publiquement sur notre site web, et une analyse préliminaire suggère qu'il peut identifier les travaux antérieurs pertinents, y compris des articles étroitement liés que les auteurs pourraient négliger. OpenNovelty vise à doter la communauté scientifique d'un outil évolutif qui promeut un examen par les pairs équitable, cohérent et étayé par des preuves.
English
Evaluating novelty is critical yet challenging in peer review, as reviewers must assess submissions against a vast, rapidly evolving literature. This report presents OpenNovelty, an LLM-powered agentic system for transparent, evidence-based novelty analysis. The system operates through four phases: (1) extracting the core task and contribution claims to generate retrieval queries; (2) retrieving relevant prior work based on extracted queries via semantic search engine; (3) constructing a hierarchical taxonomy of core-task-related work and performing contribution-level full-text comparisons against each contribution; and (4) synthesizing all analyses into a structured novelty report with explicit citations and evidence snippets. Unlike naive LLM-based approaches, OpenNovelty grounds all assessments in retrieved real papers, ensuring verifiable judgments. We deploy our system on 500+ ICLR 2026 submissions with all reports publicly available on our website, and preliminary analysis suggests it can identify relevant prior work, including closely related papers that authors may overlook. OpenNovelty aims to empower the research community with a scalable tool that promotes fair, consistent, and evidence-backed peer review.