APRES: Агентная система ревизии и оценки научных статей
APRES: An Agentic Paper Revision and Evaluation System
March 3, 2026
Авторы: Bingchen Zhao, Jenny Zhang, Chenxi Whitehouse, Minqi Jiang, Michael Shvartsman, Abhishek Charnalia, Despoina Magka, Tatiana Shavrina, Derek Dunfield, Oisin Mac Aodha, Yoram Bachrach
cs.AI
Аннотация
Научные открытия должны быть четко донесены, чтобы реализовать свой полный потенциал. Без эффективной коммуникации даже самые передовые достижения рискуют быть недооцененными или неправильно понятыми. Основным способом, с помощью которого ученые сообщают о своей работе и получают обратную связь от сообщества, является рецензирование. Однако текущая система часто обеспечивает противоречивые отзывы между рецензентами, что в конечном итоге препятствует улучшению рукописи и ограничивает ее потенциальное влияние. В данной статье мы представляем новый метод APRES, основанный на больших языковых моделях (LLM), для обновления текста научной статьи на основе оценочной рубрики. Наш автоматизированный метод обнаруживает рубрику, которая с высокой точностью предсказывает будущее количество цитирований, и интегрирует ее с APRES в автоматизированную систему, которая пересматривает статьи для повышения их качества и влияния. Ключевым моментом является то, что эта цель должна достигаться без изменения основного научного содержания. Мы демонстрируем успех APRES, который улучшает прогнозирование будущих цитирований на 19,6% по средней абсолютной ошибке по сравнению с лучшим базовым методом, и показываем, что в процессе нашего рецензирования статьи, доработанные системой, в 79% случаев предпочитаются экспертами-людьми по сравнению с оригиналами. Наши результаты предоставляют убедительное эмпирическое обоснование использования LLM в качестве инструмента, помогающего авторам провести стресс-тестирование своих рукописей перед подачей. В конечном счете, наша работа направлена на усиление, а не замену, ключевой роли экспертов-рецензентов, поскольку именно люди должны определять, какие открытия действительно важны, направляя науку к расширению знаний и улучшению жизни.
English
Scientific discoveries must be communicated clearly to realize their full potential. Without effective communication, even the most groundbreaking findings risk being overlooked or misunderstood. The primary way scientists communicate their work and receive feedback from the community is through peer review. However, the current system often provides inconsistent feedback between reviewers, ultimately hindering the improvement of a manuscript and limiting its potential impact. In this paper, we introduce a novel method APRES powered by Large Language Models (LLMs) to update a scientific papers text based on an evaluation rubric. Our automated method discovers a rubric that is highly predictive of future citation counts, and integrate it with APRES in an automated system that revises papers to enhance their quality and impact. Crucially, this objective should be met without altering the core scientific content. We demonstrate the success of APRES, which improves future citation prediction by 19.6% in mean averaged error over the next best baseline, and show that our paper revision process yields papers that are preferred over the originals by human expert evaluators 79% of the time. Our findings provide strong empirical support for using LLMs as a tool to help authors stress-test their manuscripts before submission. Ultimately, our work seeks to augment, not replace, the essential role of human expert reviewers, for it should be humans who discern which discoveries truly matter, guiding science toward advancing knowledge and enriching lives.