Revisione Paritaria Accademica Guidata dall'IA tramite Prompting Persistente del Flusso di Lavoro, Meta-Prompting e Meta-Ragionamento

AI-Driven Scholarly Peer Review via Persistent Workflow Prompting, Meta-Prompting, and Meta-Reasoning

May 6, 2025

Autori: Evgeny Markhasin

cs.AI

Abstract

La revisione critica tra pari di manoscritti scientifici rappresenta una sfida significativa per i Large Language Models (LLM), in parte a causa delle limitazioni dei dati e della complessità del ragionamento esperto. Questo rapporto introduce il Persistent Workflow Prompting (PWP), una metodologia di prompt engineering potenzialmente ampiamente applicabile, progettata per colmare questa lacuna utilizzando interfacce di chat LLM standard (zero-code, nessuna API). Presentiamo un prompt PWP proof-of-concept per l'analisi critica di manoscritti di chimica sperimentale, caratterizzato da un'architettura gerarchica e modulare (strutturata tramite Markdown) che definisce flussi di lavoro di analisi dettagliati. Sviluppiamo questo prompt PWP attraverso l'applicazione iterativa di tecniche di meta-prompting e meta-ragionamento mirate a codificare sistematicamente i flussi di lavoro di revisione esperta, inclusa la conoscenza tacita. Inviato una volta all'inizio di una sessione, questo prompt PWP equipaggia l'LLM con flussi di lavoro persistenti attivati da query successive, guidando i moderni LLM di ragionamento attraverso valutazioni sistematiche e multimodali. Le dimostrazioni mostrano l'LLM guidato da PWP nell'identificare gravi difetti metodologici in un caso di test, mitigando il bias di input dell'LLM e svolgendo compiti complessi, tra cui distinguere affermazioni da prove, integrare analisi di testo/foto/figure per inferire parametri, eseguire controlli di fattibilità quantitativa, confrontare stime con affermazioni e valutare la plausibilità a priori. Per garantire trasparenza e facilitare la replicazione, forniamo prompt completi, analisi dimostrative dettagliate e log di chat interattive come risorse supplementari. Oltre all'applicazione specifica, questo lavoro offre approfondimenti sul processo di meta-sviluppo stesso, evidenziando il potenziale del PWP, informato dalla formalizzazione dettagliata dei flussi di lavoro, per abilitare analisi sofisticate utilizzando LLM facilmente disponibili per compiti scientifici complessi.

English

Critical peer review of scientific manuscripts presents a significant challenge for Large Language Models (LLMs), partly due to data limitations and the complexity of expert reasoning. This report introduces Persistent Workflow Prompting (PWP), a potentially broadly applicable prompt engineering methodology designed to bridge this gap using standard LLM chat interfaces (zero-code, no APIs). We present a proof-of-concept PWP prompt for the critical analysis of experimental chemistry manuscripts, featuring a hierarchical, modular architecture (structured via Markdown) that defines detailed analysis workflows. We develop this PWP prompt through iterative application of meta-prompting techniques and meta-reasoning aimed at systematically codifying expert review workflows, including tacit knowledge. Submitted once at the start of a session, this PWP prompt equips the LLM with persistent workflows triggered by subsequent queries, guiding modern reasoning LLMs through systematic, multimodal evaluations. Demonstrations show the PWP-guided LLM identifying major methodological flaws in a test case while mitigating LLM input bias and performing complex tasks, including distinguishing claims from evidence, integrating text/photo/figure analysis to infer parameters, executing quantitative feasibility checks, comparing estimates against claims, and assessing a priori plausibility. To ensure transparency and facilitate replication, we provide full prompts, detailed demonstration analyses, and logs of interactive chats as supplementary resources. Beyond the specific application, this work offers insights into the meta-development process itself, highlighting the potential of PWP, informed by detailed workflow formalization, to enable sophisticated analysis using readily available LLMs for complex scientific tasks.