Évaluation par les pairs académique pilotée par l'IA via l'incitation persistante des workflows, la méta-incitation et la méta-raisonnement

AI-Driven Scholarly Peer Review via Persistent Workflow Prompting, Meta-Prompting, and Meta-Reasoning

May 6, 2025

Auteurs: Evgeny Markhasin

cs.AI

Résumé

L'examen critique par les pairs des manuscrits scientifiques représente un défi majeur pour les modèles de langage de grande envergure (LLMs), en partie en raison des limitations des données et de la complexité du raisonnement expert. Ce rapport présente le *Persistent Workflow Prompting* (PWP), une méthodologie de conception d'invites potentiellement largement applicable, conçue pour combler cette lacune en utilisant des interfaces de chat standard pour les LLMs (sans code, sans API). Nous présentons une preuve de concept d'une invite PWP pour l'analyse critique de manuscrits de chimie expérimentale, mettant en avant une architecture hiérarchique et modulaire (structurée via Markdown) qui définit des workflows d'analyse détaillés. Nous développons cette invite PWP grâce à une application itérative de techniques de méta-invites et de méta-raisonnement visant à systématiser les workflows d'examen expert, y compris les connaissances tacites. Soumise une seule fois au début d'une session, cette invite PWP équipe le LLM de workflows persistants déclenchés par des requêtes ultérieures, guidant les LLM modernes à travers des évaluations systématiques et multimodales. Les démonstrations montrent que le LLM guidé par PWP identifie des lacunes méthodologiques majeures dans un cas test tout en atténuant les biais d'entrée du LLM et en accomplissant des tâches complexes, notamment distinguer les affirmations des preuves, intégrer l'analyse de texte/photo/figure pour déduire des paramètres, exécuter des vérifications de faisabilité quantitative, comparer les estimations aux affirmations et évaluer la plausibilité a priori. Pour garantir la transparence et faciliter la réplication, nous fournissons les invites complètes, des analyses détaillées des démonstrations et des journaux de chats interactifs en tant que ressources supplémentaires. Au-delà de l'application spécifique, ce travail offre des insights sur le processus de méta-développement lui-même, mettant en lumière le potentiel du PWP, informé par une formalisation détaillée des workflows, pour permettre des analyses sophistiquées à l'aide de LLM facilement accessibles pour des tâches scientifiques complexes.

English

Critical peer review of scientific manuscripts presents a significant challenge for Large Language Models (LLMs), partly due to data limitations and the complexity of expert reasoning. This report introduces Persistent Workflow Prompting (PWP), a potentially broadly applicable prompt engineering methodology designed to bridge this gap using standard LLM chat interfaces (zero-code, no APIs). We present a proof-of-concept PWP prompt for the critical analysis of experimental chemistry manuscripts, featuring a hierarchical, modular architecture (structured via Markdown) that defines detailed analysis workflows. We develop this PWP prompt through iterative application of meta-prompting techniques and meta-reasoning aimed at systematically codifying expert review workflows, including tacit knowledge. Submitted once at the start of a session, this PWP prompt equips the LLM with persistent workflows triggered by subsequent queries, guiding modern reasoning LLMs through systematic, multimodal evaluations. Demonstrations show the PWP-guided LLM identifying major methodological flaws in a test case while mitigating LLM input bias and performing complex tasks, including distinguishing claims from evidence, integrating text/photo/figure analysis to infer parameters, executing quantitative feasibility checks, comparing estimates against claims, and assessing a priori plausibility. To ensure transparency and facilitate replication, we provide full prompts, detailed demonstration analyses, and logs of interactive chats as supplementary resources. Beyond the specific application, this work offers insights into the meta-development process itself, highlighting the potential of PWP, informed by detailed workflow formalization, to enable sophisticated analysis using readily available LLMs for complex scientific tasks.