KI-gestützte wissenschaftliche Peer-Review durch persistente Workflow-Prompting, Meta-Prompting und Meta-Reasoning

AI-Driven Scholarly Peer Review via Persistent Workflow Prompting, Meta-Prompting, and Meta-Reasoning

May 6, 2025

Autoren: Evgeny Markhasin

cs.AI

Zusammenfassung

Die kritische Begutachtung wissenschaftlicher Manuskripte durch Fachkollegen stellt eine erhebliche Herausforderung für Large Language Models (LLMs) dar, teilweise aufgrund von Datenbeschränkungen und der Komplexität von Expertenargumentationen. Dieser Bericht stellt Persistent Workflow Prompting (PWP) vor, eine potenziell breit anwendbare Prompt-Engineering-Methodik, die entwickelt wurde, um diese Lücke mithilfe standardmäßiger LLM-Chat-Oberflächen (zero-code, keine APIs) zu überbrücken. Wir präsentieren einen Proof-of-Concept-PWP-Prompt für die kritische Analyse von experimentellen Chemie-Manuskripten, der eine hierarchische, modulare Architektur (strukturiert via Markdown) aufweist, die detaillierte Analyse-Workflows definiert. Wir entwickeln diesen PWP-Prompt durch iterative Anwendung von Meta-Prompting-Techniken und Meta-Argumentation, die darauf abzielen, Expertenbegutachtungs-Workflows systematisch zu kodifizieren, einschließlich impliziten Wissens. Einmal zu Beginn einer Sitzung übermittelt, stattet dieser PWP-Prompt das LLM mit persistenten Workflows aus, die durch nachfolgende Abfragen ausgelöst werden und moderne argumentationsfähige LLMs durch systematische, multimodale Bewertungen führen. Demonstrationen zeigen, dass das PWP-gesteuerte LLM wesentliche methodische Mängel in einem Testfall identifiziert, während es LLM-Eingabeverzerrungen mindert und komplexe Aufgaben ausführt, darunter die Unterscheidung von Behauptungen und Beweisen, die Integration von Text-/Foto-/Abbildungsanalysen zur Ableitung von Parametern, die Durchführung quantitativer Machbarkeitsprüfungen, den Vergleich von Schätzungen mit Behauptungen und die Bewertung der a-priori-Plausibilität. Um Transparenz zu gewährleisten und die Replikation zu erleichtern, stellen wir vollständige Prompts, detaillierte Demonstrationsanalysen und Protokolle interaktiver Chats als ergänzende Ressourcen bereit. Über die spezifische Anwendung hinaus bietet diese Arbeit Einblicke in den Meta-Entwicklungsprozess selbst und hebt das Potenzial von PWP hervor, das durch die detaillierte Formalisierung von Workflows informiert wird, um anspruchsvolle Analysen mit leicht verfügbaren LLMs für komplexe wissenschaftliche Aufgaben zu ermöglichen.

English

Critical peer review of scientific manuscripts presents a significant challenge for Large Language Models (LLMs), partly due to data limitations and the complexity of expert reasoning. This report introduces Persistent Workflow Prompting (PWP), a potentially broadly applicable prompt engineering methodology designed to bridge this gap using standard LLM chat interfaces (zero-code, no APIs). We present a proof-of-concept PWP prompt for the critical analysis of experimental chemistry manuscripts, featuring a hierarchical, modular architecture (structured via Markdown) that defines detailed analysis workflows. We develop this PWP prompt through iterative application of meta-prompting techniques and meta-reasoning aimed at systematically codifying expert review workflows, including tacit knowledge. Submitted once at the start of a session, this PWP prompt equips the LLM with persistent workflows triggered by subsequent queries, guiding modern reasoning LLMs through systematic, multimodal evaluations. Demonstrations show the PWP-guided LLM identifying major methodological flaws in a test case while mitigating LLM input bias and performing complex tasks, including distinguishing claims from evidence, integrating text/photo/figure analysis to infer parameters, executing quantitative feasibility checks, comparing estimates against claims, and assessing a priori plausibility. To ensure transparency and facilitate replication, we provide full prompts, detailed demonstration analyses, and logs of interactive chats as supplementary resources. Beyond the specific application, this work offers insights into the meta-development process itself, highlighting the potential of PWP, informed by detailed workflow formalization, to enable sophisticated analysis using readily available LLMs for complex scientific tasks.