AI-gestuurde wetenschappelijke peer review via doorlopende workflow-prompting, meta-prompting en meta-redenering,

AI-Driven Scholarly Peer Review via Persistent Workflow Prompting, Meta-Prompting, and Meta-Reasoning

May 6, 2025

Auteurs: Evgeny Markhasin

cs.AI

Samenvatting

Kritische collegiale toetsing van wetenschappelijke manuscripten vormt een aanzienlijke uitdaging voor Large Language Models (LLMs), deels vanwege beperkingen in data en de complexiteit van expertredeneringen. Dit rapport introduceert Persistent Workflow Prompting (PWP), een potentieel breed toepasbare prompt engineering methodologie die is ontworpen om deze kloof te overbruggen met behulp van standaard LLM-chatinterfaces (zero-code, geen API's). We presenteren een proof-of-concept PWP-prompt voor de kritische analyse van experimentele chemiemanuscripten, met een hiërarchische, modulaire architectuur (gestructureerd via Markdown) die gedetailleerde analysewerkstromen definieert. We ontwikkelen deze PWP-prompt door iteratieve toepassing van meta-promptingtechnieken en meta-redenering, gericht op het systematisch codificeren van expertreviewwerkstromen, inclusief impliciete kennis. Eenmaal ingediend aan het begin van een sessie, voorziet deze PWP-prompt de LLM van persistente werkstromen die worden geactiveerd door vervolgvragen, waardoor moderne redenerende LLMs worden geleid door systematische, multimodale evaluaties. Demonstraties tonen aan dat de PWP-gestuurde LLM grote methodologische fouten identificeert in een testcase, terwijl LLM-invoervooroordelen worden gemitigeerd en complexe taken worden uitgevoerd, zoals het onderscheiden van claims van bewijs, het integreren van tekst/foto/figuuranalyse om parameters af te leiden, het uitvoeren van kwantitatieve haalbaarheidscontroles, het vergelijken van schattingen met claims en het beoordelen van a priori plausibiliteit. Om transparantie te waarborgen en replicatie te vergemakkelijken, bieden we volledige prompts, gedetailleerde demonstratieanalyses en logs van interactieve chats als aanvullende bronnen. Naast de specifieke toepassing biedt dit werk inzichten in het meta-ontwikkelingsproces zelf, waarbij het potentieel van PWP, geïnformeerd door gedetailleerde formalisering van werkstromen, wordt benadrukt om geavanceerde analyse mogelijk te maken met gemakkelijk beschikbare LLMs voor complexe wetenschappelijke taken.

English

Critical peer review of scientific manuscripts presents a significant challenge for Large Language Models (LLMs), partly due to data limitations and the complexity of expert reasoning. This report introduces Persistent Workflow Prompting (PWP), a potentially broadly applicable prompt engineering methodology designed to bridge this gap using standard LLM chat interfaces (zero-code, no APIs). We present a proof-of-concept PWP prompt for the critical analysis of experimental chemistry manuscripts, featuring a hierarchical, modular architecture (structured via Markdown) that defines detailed analysis workflows. We develop this PWP prompt through iterative application of meta-prompting techniques and meta-reasoning aimed at systematically codifying expert review workflows, including tacit knowledge. Submitted once at the start of a session, this PWP prompt equips the LLM with persistent workflows triggered by subsequent queries, guiding modern reasoning LLMs through systematic, multimodal evaluations. Demonstrations show the PWP-guided LLM identifying major methodological flaws in a test case while mitigating LLM input bias and performing complex tasks, including distinguishing claims from evidence, integrating text/photo/figure analysis to infer parameters, executing quantitative feasibility checks, comparing estimates against claims, and assessing a priori plausibility. To ensure transparency and facilitate replication, we provide full prompts, detailed demonstration analyses, and logs of interactive chats as supplementary resources. Beyond the specific application, this work offers insights into the meta-development process itself, highlighting the potential of PWP, informed by detailed workflow formalization, to enable sophisticated analysis using readily available LLMs for complex scientific tasks.