APRES: Um Sistema Agente de Revisão e Avaliação de Artigos Científicos
APRES: An Agentic Paper Revision and Evaluation System
March 3, 2026
Autores: Bingchen Zhao, Jenny Zhang, Chenxi Whitehouse, Minqi Jiang, Michael Shvartsman, Abhishek Charnalia, Despoina Magka, Tatiana Shavrina, Derek Dunfield, Oisin Mac Aodha, Yoram Bachrach
cs.AI
Resumo
As descobertas científicas devem ser comunicadas com clareza para realizar todo o seu potencial. Sem uma comunicação eficaz, mesmo as descobertas mais revolucionárias correm o risco de ser negligenciadas ou mal compreendidas. A principal forma como os cientistas comunicam o seu trabalho e recebem feedback da comunidade é através da revisão por pares. No entanto, o sistema atual frequentemente fornece feedback inconsistente entre os revisores, dificultando, em última análise, a melhoria de um manuscrito e limitando o seu potencial impacto. Neste artigo, introduzimos um novo método, o APRES, baseado em Modelos de Linguagem de Grande Escala (LLMs), para atualizar o texto de artigos científicos com base numa rubrica de avaliação. O nosso método automatizado descobre uma rubrica altamente preditiva de futuras contagens de citações e integra-a com o APRES num sistema automatizado que revê artigos para melhorar a sua qualidade e impacto. Crucialmente, este objetivo deve ser alcançado sem alterar o conteúdo científico central. Demonstramos o sucesso do APRES, que melhora a previsão de citações futuras em 19,6% no erro médio absoluto em relação à melhor linha de base seguinte, e mostramos que o nosso processo de revisão de artigos produz artigos que são preferidos em relação aos originais por avaliadores especialistas humanos em 79% das vezes. Os nossos resultados fornecem um forte suporte empírico para o uso de LLMs como uma ferramenta para ajudar os autores a testar a robustez dos seus manuscritos antes da submissão. Em última análise, o nosso trabalho procura aumentar, e não substituir, o papel essencial dos revisores especialistas humanos, pois devem ser os humanos a discernir quais as descobertas que verdadeiramente importam, guiando a ciência no sentido de avançar o conhecimento e enriquecer vidas.
English
Scientific discoveries must be communicated clearly to realize their full potential. Without effective communication, even the most groundbreaking findings risk being overlooked or misunderstood. The primary way scientists communicate their work and receive feedback from the community is through peer review. However, the current system often provides inconsistent feedback between reviewers, ultimately hindering the improvement of a manuscript and limiting its potential impact. In this paper, we introduce a novel method APRES powered by Large Language Models (LLMs) to update a scientific papers text based on an evaluation rubric. Our automated method discovers a rubric that is highly predictive of future citation counts, and integrate it with APRES in an automated system that revises papers to enhance their quality and impact. Crucially, this objective should be met without altering the core scientific content. We demonstrate the success of APRES, which improves future citation prediction by 19.6% in mean averaged error over the next best baseline, and show that our paper revision process yields papers that are preferred over the originals by human expert evaluators 79% of the time. Our findings provide strong empirical support for using LLMs as a tool to help authors stress-test their manuscripts before submission. Ultimately, our work seeks to augment, not replace, the essential role of human expert reviewers, for it should be humans who discern which discoveries truly matter, guiding science toward advancing knowledge and enriching lives.