Zur Automatisierung der wissenschaftlichen Begutachtung mit dem Paper Assistant Tool von Google

Zusammenfassung

Künstliche Intelligenz treibt eine Revolution in der wissenschaftlichen Entdeckung voran und beschleunigt alles von der Hypothesengenerierung bis zum Beweis mathematischer Theoreme. Diese rasche Beschleunigung schafft jedoch eine systemische Herausforderung: Die traditionelle menschliche Peer-Review kann nicht Schritt halten mit der Flut KI-gestützter Wissenschaft. Um diese Spannung aufzulösen, müssen wir letztlich ebenfalls KI einsetzen, um den Verifikations- und Überprüfungsprozess selbst zu beschleunigen. Um die Diskussion über diesen Wandel zu strukturieren, schlagen wir eine Taxonomie vor, die aus vier progressiven Stufen der KI-Mensch-Zusammenarbeit in der wissenschaftlichen Evaluierung besteht, und erörtern verschiedene mit jeder Stufe verbundene Abwägungen. Als Schritt in diese Richtung stellen wir das Paper Assistant Tool (PAT) vor, ein agentisches KI-Framework, das für tiefgehende wissenschaftliche Überprüfung und Verifikation entwickelt wurde. PAT erfasst vollständige wissenschaftliche Manuskripte und erstellt eine umfassende Bewertung, bei der theoretische Ergebnisse überprüft, Experimente validiert, Verbesserungen vorgeschlagen und potenzielle Mängel identifiziert werden. Durch die Nutzung von Inferenz-Skalierungstechniken ist PAT in der Lage, tiefere Probleme zu identifizieren als ein einzelner Modellaufruf allein, und erzielt eine Verbesserung um 34% gegenüber dem Zero-Shot-Recall bei mathematischen Fehlern im SPOT-Benchmark. Pilot-Einsätze von PAT als Vor-Einreichungs-Tool für Autoren auf zwei großen Informatikkonferenzen – STOC und ICML – zeigen seine Fähigkeit, kritische Fehler zu identifizieren und substanzielle Verbesserungen an Forschungsarbeiten vorzuschlagen. Indem PAT Fehler frühzeitig erkennt, verringert es die kognitive Belastung der Gutachter, während es deren Kontrolle über die Ergebnisse des Begutachtungsprozesses bewahrt.

English

Artificial intelligence is driving a revolution in scientific discovery, accelerating everything from hypothesis generation to mathematical theorem proving. However, this rapid acceleration is creating a systemic challenge: traditional human peer review cannot scale to match the influx of AI-assisted science. Ultimately, to resolve this tension, we must also deploy AI to accelerate the verification and review process itself. To frame the discussion around this transition, we propose a taxonomy consisting of four progressive levels of AI-human collaboration in scientific evaluation, and discuss various trade-offs involved with each. As a step toward this future, we introduce the Paper Assistant Tool (PAT), an agentic AI framework built for deep scientific review and verification. PAT ingests full scientific manuscripts and produces a comprehensive evaluation, checking theoretical results, validating experiments, suggesting improvements, and identifying potential flaws. By utilizing inference scaling techniques, PAT is able to identify deeper issues than a single model call alone, achieving a 34% improvement over zero-shot recall on mathematical errors in the SPOT benchmark. Pilot deployments of PAT as a pre-submission tool for authors at two major Computer Science conferences -- STOC and ICML -- demonstrate its ability to identify critical errors and suggest substantive improvements to research papers. By catching errors early, PAT eases the cognitive burden placed on referees, while preserving their control over the outcomes of the review process.