К автоматизации научного рецензирования с помощью инструмента Paper Assistant от Google

Аннотация

Искусственный интеллект является движущей силой революции в научных открытиях, ускоряя всё — от генерации гипотез до доказательства математических теорем. Однако такое стремительное ускорение порождает системную проблему: традиционное рецензирование, выполняемое людьми, не может масштабироваться, чтобы соответствовать наплыву работ, созданных с помощью ИИ. В конечном счёте, чтобы разрешить это противоречие, мы также должны применить ИИ для ускорения самого процесса верификации и рецензирования. Для структурирования обсуждения этого перехода мы предлагаем таксономию, состоящую из четырёх последовательных уровней сотрудничества ИИ и человека в научной оценке, и рассматриваем различные компромиссы, связанные с каждым из них. В качестве шага к такому будущему мы представляем инструмент Paper Assistant Tool (PAT) — агентную ИИ-структуру, предназначенную для глубокого научного рецензирования и верификации. PAT принимает на вход полные тексты научных рукописей и выдаёт всестороннюю оценку, включая проверку теоретических результатов, валидацию экспериментов, предложения по улучшению и выявление потенциальных недостатков. Используя методы масштабирования логического вывода, PAT способен выявлять более глубокие проблемы, чем при одиночном вызове модели, достигая улучшения на 34% по показателю полноты при нулевом обучении (zero-shot recall) при поиске математических ошибок в эталоне SPOT. Пилотные развёртывания PAT в качестве инструмента предварительной подачи для авторов на двух крупных конференциях по информатике — STOC и ICML — демонстрируют его способность выявлять критические ошибки и предлагать существенные улучшения исследовательских работ. Выявляя ошибки на раннем этапе, PAT снижает когнитивную нагрузку на рецензентов, сохраняя при этом за ними контроль над результатами процесса рецензирования.

English

Artificial intelligence is driving a revolution in scientific discovery, accelerating everything from hypothesis generation to mathematical theorem proving. However, this rapid acceleration is creating a systemic challenge: traditional human peer review cannot scale to match the influx of AI-assisted science. Ultimately, to resolve this tension, we must also deploy AI to accelerate the verification and review process itself. To frame the discussion around this transition, we propose a taxonomy consisting of four progressive levels of AI-human collaboration in scientific evaluation, and discuss various trade-offs involved with each. As a step toward this future, we introduce the Paper Assistant Tool (PAT), an agentic AI framework built for deep scientific review and verification. PAT ingests full scientific manuscripts and produces a comprehensive evaluation, checking theoretical results, validating experiments, suggesting improvements, and identifying potential flaws. By utilizing inference scaling techniques, PAT is able to identify deeper issues than a single model call alone, achieving a 34% improvement over zero-shot recall on mathematical errors in the SPOT benchmark. Pilot deployments of PAT as a pre-submission tool for authors at two major Computer Science conferences -- STOC and ICML -- demonstrate its ability to identify critical errors and suggest substantive improvements to research papers. By catching errors early, PAT eases the cognitive burden placed on referees, while preserving their control over the outcomes of the review process.