APRES: Un Sistema Agente de Revisión y Evaluación de Artículos
APRES: An Agentic Paper Revision and Evaluation System
March 3, 2026
Autores: Bingchen Zhao, Jenny Zhang, Chenxi Whitehouse, Minqi Jiang, Michael Shvartsman, Abhishek Charnalia, Despoina Magka, Tatiana Shavrina, Derek Dunfield, Oisin Mac Aodha, Yoram Bachrach
cs.AI
Resumen
Los descubrimientos científicos deben comunicarse con claridad para alcanzar su máximo potencial. Sin una comunicación efectiva, incluso los hallazgos más revolucionarios corren el riesgo de ser pasados por alto o malinterpretados. La principal forma en que los científicos comunican su trabajo y reciben comentarios de la comunidad es a través de la revisión por pares. Sin embargo, el sistema actual a menudo proporciona comentarios inconsistentes entre los revisores, lo que en última instancia dificulta la mejora de un manuscrito y limita su impacto potencial. En este artículo, presentamos un método novedoso, APRES, impulsado por Modelos de Lenguaje a Gran Escala (LLMs), para actualizar el texto de artículos científicos basándose en una rúbrica de evaluación. Nuestro método automatizado descubre una rúbrica altamente predictiva de los recuentos futuros de citas y la integra con APRES en un sistema automatizado que revisa los artículos para mejorar su calidad e impacto. Crucialmente, este objetivo debe lograrse sin alterar el contenido científico central. Demostramos el éxito de APRES, que mejora la predicción de citas futuras en un 19.6% en el error promedio absoluto sobre la mejor línea base existente, y mostramos que nuestro proceso de revisión de artículos produce documentos que son preferidos sobre los originales por evaluadores expertos humanos el 79% de las veces. Nuestros hallazgos proporcionan un sólido respaldo empírico para el uso de LLMs como herramienta para ayudar a los autores a someter sus manuscritos a pruebas de estrés antes de su envío. En última instancia, nuestro trabajo busca aumentar, no reemplazar, el papel esencial de los revisores expertos humanos, pues deben ser los humanos quienes discernían qué descubrimientos importan realmente, guiando a la ciencia hacia el avance del conocimiento y el enriquecimiento de la vida.
English
Scientific discoveries must be communicated clearly to realize their full potential. Without effective communication, even the most groundbreaking findings risk being overlooked or misunderstood. The primary way scientists communicate their work and receive feedback from the community is through peer review. However, the current system often provides inconsistent feedback between reviewers, ultimately hindering the improvement of a manuscript and limiting its potential impact. In this paper, we introduce a novel method APRES powered by Large Language Models (LLMs) to update a scientific papers text based on an evaluation rubric. Our automated method discovers a rubric that is highly predictive of future citation counts, and integrate it with APRES in an automated system that revises papers to enhance their quality and impact. Crucially, this objective should be met without altering the core scientific content. We demonstrate the success of APRES, which improves future citation prediction by 19.6% in mean averaged error over the next best baseline, and show that our paper revision process yields papers that are preferred over the originals by human expert evaluators 79% of the time. Our findings provide strong empirical support for using LLMs as a tool to help authors stress-test their manuscripts before submission. Ultimately, our work seeks to augment, not replace, the essential role of human expert reviewers, for it should be humans who discern which discoveries truly matter, guiding science toward advancing knowledge and enriching lives.