Revisão por Pares Acadêmica Impulsionada por IA via Prompting Persistente de Fluxo de Trabalho, Meta-Prompting e Meta-Raciocínio

AI-Driven Scholarly Peer Review via Persistent Workflow Prompting, Meta-Prompting, and Meta-Reasoning

May 6, 2025

Autores: Evgeny Markhasin

cs.AI

Resumo

A revisão crítica por pares de manuscritos científicos representa um desafio significativo para os Modelos de Linguagem de Grande Escala (LLMs), em parte devido às limitações de dados e à complexidade do raciocínio especializado. Este relatório introduz o Persistent Workflow Prompting (PWP), uma metodologia de engenharia de prompts potencialmente amplamente aplicável, projetada para preencher essa lacuna utilizando interfaces de chat padrão de LLMs (sem código, sem APIs). Apresentamos um prompt PWP de prova de conceito para a análise crítica de manuscritos de química experimental, caracterizado por uma arquitetura hierárquica e modular (estruturada via Markdown) que define fluxos de trabalho detalhados de análise. Desenvolvemos esse prompt PWP por meio da aplicação iterativa de técnicas de meta-prompting e meta-raciocínio, visando codificar sistematicamente os fluxos de trabalho de revisão especializada, incluindo conhecimentos tácitos. Submetido uma vez no início de uma sessão, esse prompt PWP equipa o LLM com fluxos de trabalho persistentes acionados por consultas subsequentes, guiando os LLMs modernos de raciocínio por meio de avaliações sistemáticas e multimodais. Demonstrações mostram o LLM guiado pelo PWP identificando falhas metodológicas significativas em um caso de teste, enquanto mitiga o viés de entrada do LLM e executa tarefas complexas, incluindo distinguir afirmações de evidências, integrar análises de texto/foto/figura para inferir parâmetros, executar verificações quantitativas de viabilidade, comparar estimativas com afirmações e avaliar a plausibilidade a priori. Para garantir transparência e facilitar a replicação, fornecemos os prompts completos, análises detalhadas de demonstração e logs de chats interativos como recursos suplementares. Além da aplicação específica, este trabalho oferece insights sobre o próprio processo de meta-desenvolvimento, destacando o potencial do PWP, informado pela formalização detalhada de fluxos de trabalho, para permitir análises sofisticadas utilizando LLMs prontamente disponíveis para tarefas científicas complexas.

English

Critical peer review of scientific manuscripts presents a significant challenge for Large Language Models (LLMs), partly due to data limitations and the complexity of expert reasoning. This report introduces Persistent Workflow Prompting (PWP), a potentially broadly applicable prompt engineering methodology designed to bridge this gap using standard LLM chat interfaces (zero-code, no APIs). We present a proof-of-concept PWP prompt for the critical analysis of experimental chemistry manuscripts, featuring a hierarchical, modular architecture (structured via Markdown) that defines detailed analysis workflows. We develop this PWP prompt through iterative application of meta-prompting techniques and meta-reasoning aimed at systematically codifying expert review workflows, including tacit knowledge. Submitted once at the start of a session, this PWP prompt equips the LLM with persistent workflows triggered by subsequent queries, guiding modern reasoning LLMs through systematic, multimodal evaluations. Demonstrations show the PWP-guided LLM identifying major methodological flaws in a test case while mitigating LLM input bias and performing complex tasks, including distinguishing claims from evidence, integrating text/photo/figure analysis to infer parameters, executing quantitative feasibility checks, comparing estimates against claims, and assessing a priori plausibility. To ensure transparency and facilitate replication, we provide full prompts, detailed demonstration analyses, and logs of interactive chats as supplementary resources. Beyond the specific application, this work offers insights into the meta-development process itself, highlighting the potential of PWP, informed by detailed workflow formalization, to enable sophisticated analysis using readily available LLMs for complex scientific tasks.