OpenNovelty: Агентная система на базе больших языковых моделей для проверяемой оценки научной новизны
OpenNovelty: An LLM-powered Agentic System for Verifiable Scholarly Novelty Assessment
January 4, 2026
Авторы: Ming Zhang, Kexin Tan, Yueyuan Huang, Yujiong Shen, Chunchun Ma, Li Ju, Xinran Zhang, Yuhui Wang, Wenqing Jing, Jingyi Deng, Huayu Sha, Binze Hu, Jingqi Tong, Changhao Jiang, Yage Geng, Yuankai Ying, Yue Zhang, Zhangyue Yin, Zhiheng Xi, Shihan Dou, Tao Gui, Qi Zhang, Xuanjing Huang
cs.AI
Аннотация
Оценка новизны является критически важной, но сложной задачей в рецензировании, поскольку рецензенты должны оценивать представленные работы в контексте обширной и быстро развивающейся научной литературы. В данном отчете представлена система OpenNovelty — агентная система на основе больших языковых моделей (LLM) для прозрачного, основанного на доказательствах анализа новизны. Система функционирует в четыре этапа: (1) извлечение основной задачи и заявлений о вкладе для генерации поисковых запросов; (2) поиск релевантных предыдущих работ на основе извлеченных запросов с помощью семантической поисковой системы; (3) построение иерархической таксономии работ, связанных с основной задачей, и проведение полнотекстовых сравнений на уровне вклада для каждого заявления; и (4) синтез всех анализов в структурированный отчет о новизне с явными цитированиями и фрагментами доказательств. В отличие от наивных подходов на основе LLM, OpenNovelty обосновывает все оценки на найденных реальных статьях, обеспечивая проверяемость суждений. Мы развернули нашу систему на более чем 500 заявках ICLR 2026, и все отчеты общедоступны на нашем сайте; предварительный анализ показывает, что система способна выявлять релевантные предыдущие работы, включая близко связанные статьи, которые авторы могли упустить. OpenNovelty призвана предоставить научному сообществу масштабируемый инструмент, способствующий справедливому, последовательному и доказательно обоснованному рецензированию.
English
Evaluating novelty is critical yet challenging in peer review, as reviewers must assess submissions against a vast, rapidly evolving literature. This report presents OpenNovelty, an LLM-powered agentic system for transparent, evidence-based novelty analysis. The system operates through four phases: (1) extracting the core task and contribution claims to generate retrieval queries; (2) retrieving relevant prior work based on extracted queries via semantic search engine; (3) constructing a hierarchical taxonomy of core-task-related work and performing contribution-level full-text comparisons against each contribution; and (4) synthesizing all analyses into a structured novelty report with explicit citations and evidence snippets. Unlike naive LLM-based approaches, OpenNovelty grounds all assessments in retrieved real papers, ensuring verifiable judgments. We deploy our system on 500+ ICLR 2026 submissions with all reports publicly available on our website, and preliminary analysis suggests it can identify relevant prior work, including closely related papers that authors may overlook. OpenNovelty aims to empower the research community with a scalable tool that promotes fair, consistent, and evidence-backed peer review.