Revisión por Pares Académica Impulsada por IA mediante Indicación Persistente de Flujo de Trabajo, Meta-Indicación y Meta-Razonamiento

AI-Driven Scholarly Peer Review via Persistent Workflow Prompting, Meta-Prompting, and Meta-Reasoning

May 6, 2025

Autores: Evgeny Markhasin

cs.AI

Resumen

La revisión crítica por pares de manuscritos científicos representa un desafío significativo para los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés), en parte debido a las limitaciones de datos y la complejidad del razonamiento experto. Este informe introduce la Metodología de Inducción Persistente de Flujos de Trabajo (PWP, por sus siglas en inglés), una técnica de ingeniería de prompts potencialmente ampliamente aplicable diseñada para cerrar esta brecha utilizando interfaces estándar de chat con LLMs (sin código, sin APIs). Presentamos un prompt PWP de prueba de concepto para el análisis crítico de manuscritos de química experimental, que cuenta con una arquitectura jerárquica y modular (estructurada mediante Markdown) que define flujos de trabajo de análisis detallados. Desarrollamos este prompt PWP mediante la aplicación iterativa de técnicas de meta-inducción y meta-razonamiento destinadas a codificar sistemáticamente los flujos de trabajo de revisión experta, incluyendo el conocimiento tácito. Al ser enviado una vez al inicio de una sesión, este prompt PWP equipa al LLM con flujos de trabajo persistentes activados por consultas posteriores, guiando a los LLMs modernos de razonamiento a través de evaluaciones sistemáticas y multimodales. Las demostraciones muestran que el LLM guiado por PWP identifica fallos metodológicos importantes en un caso de prueba, mitigando el sesgo de entrada del LLM y realizando tareas complejas, como distinguir afirmaciones de evidencia, integrar análisis de texto/fotos/figuras para inferir parámetros, ejecutar verificaciones cuantitativas de viabilidad, comparar estimaciones con afirmaciones y evaluar la plausibilidad a priori. Para garantizar la transparencia y facilitar la replicación, proporcionamos los prompts completos, análisis detallados de las demostraciones y registros de chats interactivos como recursos complementarios. Más allá de la aplicación específica, este trabajo ofrece perspectivas sobre el proceso de meta-desarrollo en sí, destacando el potencial de PWP, respaldado por la formalización detallada de flujos de trabajo, para permitir análisis sofisticados utilizando LLMs fácilmente disponibles para tareas científicas complejas.

English

Critical peer review of scientific manuscripts presents a significant challenge for Large Language Models (LLMs), partly due to data limitations and the complexity of expert reasoning. This report introduces Persistent Workflow Prompting (PWP), a potentially broadly applicable prompt engineering methodology designed to bridge this gap using standard LLM chat interfaces (zero-code, no APIs). We present a proof-of-concept PWP prompt for the critical analysis of experimental chemistry manuscripts, featuring a hierarchical, modular architecture (structured via Markdown) that defines detailed analysis workflows. We develop this PWP prompt through iterative application of meta-prompting techniques and meta-reasoning aimed at systematically codifying expert review workflows, including tacit knowledge. Submitted once at the start of a session, this PWP prompt equips the LLM with persistent workflows triggered by subsequent queries, guiding modern reasoning LLMs through systematic, multimodal evaluations. Demonstrations show the PWP-guided LLM identifying major methodological flaws in a test case while mitigating LLM input bias and performing complex tasks, including distinguishing claims from evidence, integrating text/photo/figure analysis to infer parameters, executing quantitative feasibility checks, comparing estimates against claims, and assessing a priori plausibility. To ensure transparency and facilitate replication, we provide full prompts, detailed demonstration analyses, and logs of interactive chats as supplementary resources. Beyond the specific application, this work offers insights into the meta-development process itself, highlighting the potential of PWP, informed by detailed workflow formalization, to enable sophisticated analysis using readily available LLMs for complex scientific tasks.