APRES: エージェント型論文校閲・評価システム

APRES: An Agentic Paper Revision and Evaluation System

March 3, 2026

著者: Bingchen Zhao, Jenny Zhang, Chenxi Whitehouse, Minqi Jiang, Michael Shvartsman, Abhishek Charnalia, Despoina Magka, Tatiana Shavrina, Derek Dunfield, Oisin Mac Aodha, Yoram Bachrach

cs.AI

要旨

科学の発見がその可能性を十分に発揮するためには、明確に伝達されなければならない。効果的な伝達がなければ、画期的な発見であっても見過ごされたり誤解されたりするリスクがある。科学者が自身の研究を伝え、コミュニティからフィードバックを得る主要な方法は、査読プロセスを通じて行われる。しかし、現行のシステムでは査読者間で一貫性のないフィードバックがなされることが多く、結果として論文の改善を妨げ、その潜在的な影響力を制限している。本論文では、大規模言語モデル（LLM）を活用した新手法APRESを紹介する。これは評価基準に基づいて科学論文のテキストを更新するものである。我々の自動化手法は、将来の被引用数を高精度に予測する評価基準を発見し、それをAPRESと統合した自動システムにより、論文の品質と影響力を高める改訂を行う。重要な点は、核心的な科学的コンテンツを変更することなく、この目的を達成すべきであるということだ。APRESの有効性を実証し、将来の被引用数予測において平均絶対誤差が次善のベースライン比19.6%改善されたことを示す。さらに、論文改訂プロセスにより生成された論文が、人間の専門家評価者によって原稿より好まれる割合が79%に達することを示す。我々の発見は、投稿前の原稿に対してストレステストを実施する際の著者支援ツールとしてLLMを利用することの強力な実証的裏付けを提供する。最終的に、我々の研究は、人間の専門家査読者の不可欠な役割を「置き換える」のではなく「強化」することを目指す。なぜなら、どの発見が真に重要であるかを見極め、科学を知識の進歩と生活の豊かさへと導くべきは、人間だからである。

English

Scientific discoveries must be communicated clearly to realize their full potential. Without effective communication, even the most groundbreaking findings risk being overlooked or misunderstood. The primary way scientists communicate their work and receive feedback from the community is through peer review. However, the current system often provides inconsistent feedback between reviewers, ultimately hindering the improvement of a manuscript and limiting its potential impact. In this paper, we introduce a novel method APRES powered by Large Language Models (LLMs) to update a scientific papers text based on an evaluation rubric. Our automated method discovers a rubric that is highly predictive of future citation counts, and integrate it with APRES in an automated system that revises papers to enhance their quality and impact. Crucially, this objective should be met without altering the core scientific content. We demonstrate the success of APRES, which improves future citation prediction by 19.6% in mean averaged error over the next best baseline, and show that our paper revision process yields papers that are preferred over the originals by human expert evaluators 79% of the time. Our findings provide strong empirical support for using LLMs as a tool to help authors stress-test their manuscripts before submission. Ultimately, our work seeks to augment, not replace, the essential role of human expert reviewers, for it should be humans who discern which discoveries truly matter, guiding science toward advancing knowledge and enriching lives.