Google의 Paper Assistant 도구를 활용한 과학 리뷰 자동화를 향하여

초록

인공지능은 과학적 발견에 혁명을 일으키며, 가설 생성부터 수학적 정리 증명에 이르기까지 모든 과정을 가속화하고 있다. 그러나 이러한 급속한 가속화는 시스템적 도전 과제를 만들어내고 있다. 즉, 전통적인 인간 피어 리뷰(peer review)는 AI가 지원하는 과학의 유입 속도를 따라잡을 수 없다는 점이다. 궁극적으로 이러한 긴장을 해소하기 위해서는 검증 및 리뷰 과정 자체를 가속화하기 위해 AI를 배치해야 한다. 이러한 전환에 관한 논의의 틀을 제공하기 위해, 우리는 과학적 평가에서 AI와 인간의 협업 네 가지 수준으로 구성된 분류 체계(taxonomy)를 제안하며, 각 수준과 관련된 다양한 절충점(trade-off)을 논의한다. 이러한 미래를 향한 한 걸음으로, 우리는 심층 과학 리뷰 및 검증을 위해 구축된 에이전틱 AI 프레임워크인 논문 보조 도구(PAT, Paper Assistant Tool)를 소개한다. PAT는 전체 과학 원고를 입력받아 포괄적인 평가를 생성하며, 이론적 결과를 확인하고, 실험을 검증하며, 개선 사항을 제안하고, 잠재적 결함을 식별한다. 추론 스케일링 기법(inference scaling techniques)을 활용함으로써 PAT는 단일 모델 호출만으로는 찾아낼 수 없는 더 깊은 문제를 식별할 수 있으며, SPOT 벤치마크의 수학적 오류에서 제로샷(zero-shot) 재현율 대비 34% 개선을 달성한다. 두 개의 주요 컴퓨터 과학 학회인 STOC와 ICML에서 저자 사전 제출 도구로 PAT를 파일럿 배포한 결과, PAT가 연구 논문의 중요한 오류를 식별하고 실질적인 개선 사항을 제안할 수 있음이 입증되었다. PAT는 오류를 조기에 발견함으로써 심사자에게 부과되는 인지적 부담을 완화하는 동시에, 리뷰 과정의 결과에 대한 심사자의 통제권을 유지한다.

English

Artificial intelligence is driving a revolution in scientific discovery, accelerating everything from hypothesis generation to mathematical theorem proving. However, this rapid acceleration is creating a systemic challenge: traditional human peer review cannot scale to match the influx of AI-assisted science. Ultimately, to resolve this tension, we must also deploy AI to accelerate the verification and review process itself. To frame the discussion around this transition, we propose a taxonomy consisting of four progressive levels of AI-human collaboration in scientific evaluation, and discuss various trade-offs involved with each. As a step toward this future, we introduce the Paper Assistant Tool (PAT), an agentic AI framework built for deep scientific review and verification. PAT ingests full scientific manuscripts and produces a comprehensive evaluation, checking theoretical results, validating experiments, suggesting improvements, and identifying potential flaws. By utilizing inference scaling techniques, PAT is able to identify deeper issues than a single model call alone, achieving a 34% improvement over zero-shot recall on mathematical errors in the SPOT benchmark. Pilot deployments of PAT as a pre-submission tool for authors at two major Computer Science conferences -- STOC and ICML -- demonstrate its ability to identify critical errors and suggest substantive improvements to research papers. By catching errors early, PAT eases the cognitive burden placed on referees, while preserving their control over the outcomes of the review process.