Автоматизированное научное рецензирование на основе ИИ с использованием устойчивого пошагового запроса, мета-запросов и мета-рассуждений

AI-Driven Scholarly Peer Review via Persistent Workflow Prompting, Meta-Prompting, and Meta-Reasoning

May 6, 2025

Авторы: Evgeny Markhasin

cs.AI

Аннотация

Критический рецензирование научных рукописей представляет собой значительную задачу для крупных языковых моделей (LLM), что частично обусловлено ограниченностью данных и сложностью экспертного анализа. В данном отчете представлена методика Persistent Workflow Prompting (PWP), потенциально широко применимая инженерная техника создания запросов, предназначенная для преодоления этого разрыва с использованием стандартных интерфейсов чата LLM (без кода и API). Мы демонстрируем концептуальный пример PWP-запроса для критического анализа рукописей по экспериментальной химии, который включает иерархическую модульную архитектуру (структурированную с помощью Markdown), определяющую детализированные рабочие процессы анализа. Этот PWP-запрос разработан посредством итеративного применения мета-запросов и мета-рассуждений, направленных на систематическую кодификацию экспертных рабочих процессов рецензирования, включая неявные знания. После однократного ввода в начале сессии этот PWP-запрос обеспечивает LLM постоянными рабочими процессами, активируемыми последующими запросами, что позволяет направлять современные LLM через систематические мультимодальные оценки. Демонстрации показывают, что PWP-направленная LLM выявляет основные методологические недостатки в тестовом случае, смягчает предвзятость входных данных LLM и выполняет сложные задачи, включая различение утверждений и доказательств, интеграцию анализа текста/фотографий/рисунков для вывода параметров, выполнение количественных проверок осуществимости, сравнение оценок с утверждениями и оценку априорной правдоподобности. Для обеспечения прозрачности и облегчения воспроизведения мы предоставляем полные запросы, детализированные демонстрационные анализы и журналы интерактивных чатов в качестве дополнительных ресурсов. Помимо конкретного применения, данная работа предлагает инсайты в сам процесс мета-разработки, подчеркивая потенциал PWP, основанного на детальной формализации рабочих процессов, для выполнения сложного анализа с использованием доступных LLM в рамках научных задач.

English

Critical peer review of scientific manuscripts presents a significant challenge for Large Language Models (LLMs), partly due to data limitations and the complexity of expert reasoning. This report introduces Persistent Workflow Prompting (PWP), a potentially broadly applicable prompt engineering methodology designed to bridge this gap using standard LLM chat interfaces (zero-code, no APIs). We present a proof-of-concept PWP prompt for the critical analysis of experimental chemistry manuscripts, featuring a hierarchical, modular architecture (structured via Markdown) that defines detailed analysis workflows. We develop this PWP prompt through iterative application of meta-prompting techniques and meta-reasoning aimed at systematically codifying expert review workflows, including tacit knowledge. Submitted once at the start of a session, this PWP prompt equips the LLM with persistent workflows triggered by subsequent queries, guiding modern reasoning LLMs through systematic, multimodal evaluations. Demonstrations show the PWP-guided LLM identifying major methodological flaws in a test case while mitigating LLM input bias and performing complex tasks, including distinguishing claims from evidence, integrating text/photo/figure analysis to infer parameters, executing quantitative feasibility checks, comparing estimates against claims, and assessing a priori plausibility. To ensure transparency and facilitate replication, we provide full prompts, detailed demonstration analyses, and logs of interactive chats as supplementary resources. Beyond the specific application, this work offers insights into the meta-development process itself, highlighting the potential of PWP, informed by detailed workflow formalization, to enable sophisticated analysis using readily available LLMs for complex scientific tasks.