Hacia la automatización de la revisión científica con la herramienta Asistente de Artículos de Google

Resumen

La inteligencia artificial está impulsando una revolución en el descubrimiento científico, acelerando desde la generación de hipótesis hasta la demostración de teoremas matemáticos. Sin embargo, esta rápida aceleración crea un desafío sistémico: la revisión por pares humana tradicional no puede escalar al ritmo de la ciencia asistida por IA. En última instancia, para resolver esta tensión, debemos también desplegar IA para acelerar el propio proceso de verificación y revisión. Para enmarcar la discusión en torno a esta transición, proponemos una taxonomía compuesta por cuatro niveles progresivos de colaboración entre IA y humanos en la evaluación científica, y discutimos diversas compensaciones involucradas en cada uno. Como paso hacia este futuro, presentamos la Herramienta Asistente de Artículos (PAT, por sus siglas en inglés), un marco de IA agentiva diseñado para la revisión y verificación científica profunda. PAT procesa manuscritos científicos completos y produce una evaluación integral, verificando resultados teóricos, validando experimentos, sugiriendo mejoras e identificando posibles fallos. Mediante el uso de técnicas de escalamiento de inferencia, PAT es capaz de identificar problemas más profundos que una sola llamada al modelo, logrando una mejora del 34 % sobre la recuperación en zero-shot de errores matemáticos en el benchmark SPOT. Despliegues piloto de PAT como herramienta de presubmisión para autores en dos conferencias importantes de Ciencias de la Computación —STOC e ICML— demuestran su capacidad para identificar errores críticos y sugerir mejoras sustanciales a los artículos de investigación. Al detectar errores tempranamente, PAT alivia la carga cognitiva impuesta a los revisores, preservando al mismo tiempo su control sobre los resultados del proceso de revisión.

English

Artificial intelligence is driving a revolution in scientific discovery, accelerating everything from hypothesis generation to mathematical theorem proving. However, this rapid acceleration is creating a systemic challenge: traditional human peer review cannot scale to match the influx of AI-assisted science. Ultimately, to resolve this tension, we must also deploy AI to accelerate the verification and review process itself. To frame the discussion around this transition, we propose a taxonomy consisting of four progressive levels of AI-human collaboration in scientific evaluation, and discuss various trade-offs involved with each. As a step toward this future, we introduce the Paper Assistant Tool (PAT), an agentic AI framework built for deep scientific review and verification. PAT ingests full scientific manuscripts and produces a comprehensive evaluation, checking theoretical results, validating experiments, suggesting improvements, and identifying potential flaws. By utilizing inference scaling techniques, PAT is able to identify deeper issues than a single model call alone, achieving a 34% improvement over zero-shot recall on mathematical errors in the SPOT benchmark. Pilot deployments of PAT as a pre-submission tool for authors at two major Computer Science conferences -- STOC and ICML -- demonstrate its ability to identify critical errors and suggest substantive improvements to research papers. By catching errors early, PAT eases the cognitive burden placed on referees, while preserving their control over the outcomes of the review process.