APRES: 에이전트 기반 논문 수정 및 평가 시스템

초록

과학적 발견은 그 잠재력을 최대로 실현하기 위해 명확하게 전달되어야 합니다. 효과적인 의사소통 없이는 가장 획기적인 연구 결과조차 간과되거나 오해될 위험이 있습니다. 과학자들이 자신의 연구를 공유하고 동료들의 피드백을 받는 주요 방식은 동료 검토입니다. 그러나 현재 시스템은 종종 검토자 간 일관되지 않은 피드백을 제공하여 원고의 개선을 저해하고 그 잠재적 영향력을 제한합니다. 본 논문에서는 대규모 언어 모델(LLM)을 기반으로 한 새로운 방법론인 APRES를 소개합니다. APRES는 평가 기준에 따라 과학 논문의 텍스트를 수정합니다. 우리의 자동화된 방법은 미래 인용 횟수를 높은 정확도로 예측하는 기준을 발견하고, 이를 APRES와 통합하여 논문의 질과 영향력을 높이도록 개정하는 자동 시스템을 구축합니다. 핵심 과학적 내용을 변경하지 않으면서 이 목표를 달성하는 것이 중요합니다. 우리는 APRES의 성공을 입증했는데, 이는 기존 최고 기준치 대비 미래 인용 예측의 평균 절대 오차를 19.6% 개선하였으며, 우리의 논문 개정 과정을 거친 논문이 인간 전문 평가자들에게 원본보다 79%의 경우에서 선호된다는 점을 보여줍니다. 우리의 연구 결과는 LLM을 저자가 논문 제출 전 원고의 견고성을 검증하는 데 도움을 주는 도구로 활용하는 데 강력한 실증적 근거를 제공합니다. 궁극적으로, 우리의 연구는 인간 전문 검토자의 핵심적 역할을 대체하지 않고 보완하고자 합니다. 어떤 발견이 진정으로 중요한지를 판단하고, 과학이 지식을 발전시키고 삶을 풍요롭게 하는 방향으로 나아가도록 이끄는 주체는 인간이어야 하기 때문입니다.

English

Scientific discoveries must be communicated clearly to realize their full potential. Without effective communication, even the most groundbreaking findings risk being overlooked or misunderstood. The primary way scientists communicate their work and receive feedback from the community is through peer review. However, the current system often provides inconsistent feedback between reviewers, ultimately hindering the improvement of a manuscript and limiting its potential impact. In this paper, we introduce a novel method APRES powered by Large Language Models (LLMs) to update a scientific papers text based on an evaluation rubric. Our automated method discovers a rubric that is highly predictive of future citation counts, and integrate it with APRES in an automated system that revises papers to enhance their quality and impact. Crucially, this objective should be met without altering the core scientific content. We demonstrate the success of APRES, which improves future citation prediction by 19.6% in mean averaged error over the next best baseline, and show that our paper revision process yields papers that are preferred over the originals by human expert evaluators 79% of the time. Our findings provide strong empirical support for using LLMs as a tool to help authors stress-test their manuscripts before submission. Ultimately, our work seeks to augment, not replace, the essential role of human expert reviewers, for it should be humans who discern which discoveries truly matter, guiding science toward advancing knowledge and enriching lives.

APRES: 에이전트 기반 논문 수정 및 평가 시스템

APRES: An Agentic Paper Revision and Evaluation System

초록

Support