AI駆動型学術的ピアレビュー：持続的ワークフロープロンプティング、メタプロンプティング、およびメタ推論を活用したアプローチ

AI-Driven Scholarly Peer Review via Persistent Workflow Prompting, Meta-Prompting, and Meta-Reasoning

May 6, 2025

著者: Evgeny Markhasin

cs.AI

要旨

科学論文の査読は、データの制約や専門家の推論の複雑さから、大規模言語モデル（LLMs）にとって大きな課題となっています。本報告では、このギャップを埋めるために設計された、広く適用可能なプロンプトエンジニアリング手法であるPersistent Workflow Prompting（PWP）を紹介します。この手法は、標準的なLLMチャットインターフェース（コード不要、API不要）を利用して実現されます。我々は、実験化学論文の批判的分析を目的とした概念実証PWPプロンプトを提示し、詳細な分析ワークフローを定義する階層的でモジュール型のアーキテクチャ（Markdownで構造化）を特徴としています。このPWPプロンプトは、メタプロンプティング技術とメタ推論を反復的に適用し、専門家の査読ワークフロー（暗黙知を含む）を体系的にコード化することを目指して開発されました。セッションの開始時に一度提出されるこのPWPプロンプトは、その後のクエリによってトリガーされる永続的なワークフローをLLMに提供し、現代の推論LLMを体系的で多様な評価に導きます。デモンストレーションでは、PWPに導かれたLLMがテストケースにおける主要な方法論的欠陥を特定し、LLMの入力バイアスを軽減しながら、主張と証拠を区別する、テキスト/写真/図の分析を統合してパラメータを推論する、定量的な実現可能性チェックを実行する、推定値を主張と比較する、事前の妥当性を評価するといった複雑なタスクを実行する様子を示しています。透明性を確保し、再現を容易にするために、完全なプロンプト、詳細なデモンストレーション分析、およびインタラクティブチャットのログを補足資料として提供します。特定の応用を超えて、この研究はメタ開発プロセスそのものに対する洞察を提供し、詳細なワークフローの形式化に基づいたPWPが、複雑な科学的タスクに対して手軽に利用可能なLLMを使用した高度な分析を可能にする潜在能力を強調しています。

English

Critical peer review of scientific manuscripts presents a significant challenge for Large Language Models (LLMs), partly due to data limitations and the complexity of expert reasoning. This report introduces Persistent Workflow Prompting (PWP), a potentially broadly applicable prompt engineering methodology designed to bridge this gap using standard LLM chat interfaces (zero-code, no APIs). We present a proof-of-concept PWP prompt for the critical analysis of experimental chemistry manuscripts, featuring a hierarchical, modular architecture (structured via Markdown) that defines detailed analysis workflows. We develop this PWP prompt through iterative application of meta-prompting techniques and meta-reasoning aimed at systematically codifying expert review workflows, including tacit knowledge. Submitted once at the start of a session, this PWP prompt equips the LLM with persistent workflows triggered by subsequent queries, guiding modern reasoning LLMs through systematic, multimodal evaluations. Demonstrations show the PWP-guided LLM identifying major methodological flaws in a test case while mitigating LLM input bias and performing complex tasks, including distinguishing claims from evidence, integrating text/photo/figure analysis to infer parameters, executing quantitative feasibility checks, comparing estimates against claims, and assessing a priori plausibility. To ensure transparency and facilitate replication, we provide full prompts, detailed demonstration analyses, and logs of interactive chats as supplementary resources. Beyond the specific application, this work offers insights into the meta-development process itself, highlighting the potential of PWP, informed by detailed workflow formalization, to enable sophisticated analysis using readily available LLMs for complex scientific tasks.