Rumo à Automação da Revisão Científica com a Ferramenta Paper Assistant do Google

Resumo

A inteligência artificial está impulsionando uma revolução na descoberta científica, acelerando desde a geração de hipóteses até a demonstração de teoremas matemáticos. No entanto, essa rápida aceleração está criando um desafio sistêmico: a revisão por pares humana tradicional não consegue escalar para acompanhar o fluxo da ciência assistida por IA. Em última análise, para resolver essa tensão, devemos também implantar a IA para acelerar o próprio processo de verificação e revisão. Para estruturar a discussão em torno dessa transição, propomos uma taxonomia composta por quatro níveis progressivos de colaboração entre IA e humanos na avaliação científica, e discutimos diversas compensações envolvidas em cada um deles. Como um passo em direção a esse futuro, apresentamos a Ferramenta Assistente de Artigos (PAT, do inglês Paper Assistant Tool), um framework de IA agentiva projetado para revisão e verificação científica aprofundadas. O PAT processa manuscritos científicos completos e produz uma avaliação abrangente, verificando resultados teóricos, validando experimentos, sugerindo melhorias e identificando possíveis falhas. Ao utilizar técnicas de escalonamento de inferência, o PAT é capaz de identificar problemas mais profundos do que uma única chamada de modelo, alcançando uma melhoria de 34% no recall zero-shot para erros matemáticos no benchmark SPOT. Implantações piloto do PAT como ferramenta de pré-submissão para autores em duas importantes conferências de Ciência da Computação — STOC e ICML — demonstram sua capacidade de identificar erros críticos e sugerir melhorias substanciais em artigos de pesquisa. Ao detectar erros precocemente, o PAT alivia a carga cognitiva imposta aos revisores, preservando ao mesmo tempo seu controle sobre os resultados do processo de revisão.

English

Artificial intelligence is driving a revolution in scientific discovery, accelerating everything from hypothesis generation to mathematical theorem proving. However, this rapid acceleration is creating a systemic challenge: traditional human peer review cannot scale to match the influx of AI-assisted science. Ultimately, to resolve this tension, we must also deploy AI to accelerate the verification and review process itself. To frame the discussion around this transition, we propose a taxonomy consisting of four progressive levels of AI-human collaboration in scientific evaluation, and discuss various trade-offs involved with each. As a step toward this future, we introduce the Paper Assistant Tool (PAT), an agentic AI framework built for deep scientific review and verification. PAT ingests full scientific manuscripts and produces a comprehensive evaluation, checking theoretical results, validating experiments, suggesting improvements, and identifying potential flaws. By utilizing inference scaling techniques, PAT is able to identify deeper issues than a single model call alone, achieving a 34% improvement over zero-shot recall on mathematical errors in the SPOT benchmark. Pilot deployments of PAT as a pre-submission tool for authors at two major Computer Science conferences -- STOC and ICML -- demonstrate its ability to identify critical errors and suggest substantive improvements to research papers. By catching errors early, PAT eases the cognitive burden placed on referees, while preserving their control over the outcomes of the review process.