Vers l'automatisation de la révision scientifique à l'aide de l'outil Paper Assistant de Google

Résumé

L'intelligence artificielle conduit une révolution dans la découverte scientifique, accélérant tout, de la génération d'hypothèses à la démonstration de théorèmes mathématiques. Cependant, cette accélération rapide crée un défi systémique : l'examen par les pairs humain traditionnel ne peut pas passer à l'échelle pour faire face à l'afflux de la science assistée par IA. Pour résoudre cette tension, nous devons également déployer l'IA afin d'accélérer le processus de vérification et d'examen lui-même. Afin de cadrer la discussion autour de cette transition, nous proposons une taxonomie comprenant quatre niveaux progressifs de collaboration IA-humain dans l'évaluation scientifique, et discutons des différents compromis associés à chacun. Dans le cadre d'une avancée vers cet avenir, nous présentons l'outil assistant pour articles (PAT), un cadre d'IA agentique conçu pour l'examen et la vérification scientifiques approfondis. PAT ingère des manuscrits scientifiques complets et produit une évaluation exhaustive, vérifiant les résultats théoriques, validant les expériences, suggérant des améliorations et identifiant les défauts potentiels. En utilisant des techniques de mise à l'échelle de l'inférence, PAT est capable d'identifier des problèmes plus profonds qu'un simple appel de modèle unique, atteignant une amélioration de 34 % par rapport au rappel zero-shot sur les erreurs mathématiques dans le benchmark SPOT. Les déploiements pilotes de PAT en tant qu'outil de pré-soumission pour les auteurs lors de deux grandes conférences en informatique — STOC et ICML — démontrent sa capacité à identifier des erreurs critiques et à suggérer des améliorations substantielles aux articles de recherche. En détectant les erreurs précocement, PAT allège la charge cognitive pesant sur les évaluateurs, tout en préservant leur contrôle sur les résultats du processus d'examen.

English

Artificial intelligence is driving a revolution in scientific discovery, accelerating everything from hypothesis generation to mathematical theorem proving. However, this rapid acceleration is creating a systemic challenge: traditional human peer review cannot scale to match the influx of AI-assisted science. Ultimately, to resolve this tension, we must also deploy AI to accelerate the verification and review process itself. To frame the discussion around this transition, we propose a taxonomy consisting of four progressive levels of AI-human collaboration in scientific evaluation, and discuss various trade-offs involved with each. As a step toward this future, we introduce the Paper Assistant Tool (PAT), an agentic AI framework built for deep scientific review and verification. PAT ingests full scientific manuscripts and produces a comprehensive evaluation, checking theoretical results, validating experiments, suggesting improvements, and identifying potential flaws. By utilizing inference scaling techniques, PAT is able to identify deeper issues than a single model call alone, achieving a 34% improvement over zero-shot recall on mathematical errors in the SPOT benchmark. Pilot deployments of PAT as a pre-submission tool for authors at two major Computer Science conferences -- STOC and ICML -- demonstrate its ability to identify critical errors and suggest substantive improvements to research papers. By catching errors early, PAT eases the cognitive burden placed on referees, while preserving their control over the outcomes of the review process.