지속적 워크플로 프롬프팅, 메타-프롬프팅 및 메타-추론을 통한 AI 기반 학술 피어 리뷰

AI-Driven Scholarly Peer Review via Persistent Workflow Prompting, Meta-Prompting, and Meta-Reasoning

May 6, 2025

저자: Evgeny Markhasin

cs.AI

초록

과학 논문의 비평적 동료 검토는 데이터의 한계와 전문가 수준의 추론 복잡성으로 인해 대형 언어 모델(LLMs)에게 상당한 도전 과제로 남아 있습니다. 본 보고서는 이러한 격차를 해소하기 위해 표준 LLM 채팅 인터페이스(코드 없음, API 미사용)를 활용한 잠재적으로 광범위하게 적용 가능한 프롬프트 엔지니어링 방법론인 지속적 워크플로 프롬프팅(Persistent Workflow Prompting, PWP)을 소개합니다. 우리는 실험 화학 논문의 비판적 분석을 위한 개념 증명 PWP 프롬프트를 제시하며, 이는 상세한 분석 워크플로를 정의하는 계층적, 모듈식 아키텍처(Markdown으로 구조화)를 특징으로 합니다. 이 PWP 프롬프트는 전문가 검토 워크플로(암묵적 지식 포함)를 체계적으로 코드화하기 위한 메타-프롬프팅 기법과 메타-추론의 반복적 적용을 통해 개발되었습니다. 세션 시작 시 한 번 제출되는 이 PWP 프롬프트는 후속 질의에 의해 트리거되는 지속적 워크플로를 LLM에 제공함으로써, 현대적 추론 LLM이 체계적이고 다중 모드 평가를 수행하도록 안내합니다. 데모에서는 PWP가 적용된 LLM이 테스트 케이스에서 주요 방법론적 결함을 식별하면서도 LLM 입력 편향을 완화하고, 주장과 증거를 구분하고, 텍스트/사진/그림 분석을 통합하여 매개변수를 추론하며, 정량적 타당성 검사를 실행하고, 추정치와 주장을 비교하며, 선험적 타당성을 평가하는 등 복잡한 작업을 수행하는 모습을 보여줍니다. 투명성을 보장하고 재현을 용이하게 하기 위해, 우리는 전체 프롬프트, 상세한 데모 분석, 그리고 상호작용 채팅 로그를 보조 자료로 제공합니다. 이 특정 응용을 넘어, 이 연구는 메타-개발 프로세스 자체에 대한 통찰을 제공하며, 상세한 워크플로 공식화를 기반으로 한 PWP의 잠재력을 강조함으로써, 복잡한 과학적 과제를 위해 쉽게 이용 가능한 LLM을 사용한 정교한 분석을 가능하게 할 수 있음을 시사합니다.

English

Critical peer review of scientific manuscripts presents a significant challenge for Large Language Models (LLMs), partly due to data limitations and the complexity of expert reasoning. This report introduces Persistent Workflow Prompting (PWP), a potentially broadly applicable prompt engineering methodology designed to bridge this gap using standard LLM chat interfaces (zero-code, no APIs). We present a proof-of-concept PWP prompt for the critical analysis of experimental chemistry manuscripts, featuring a hierarchical, modular architecture (structured via Markdown) that defines detailed analysis workflows. We develop this PWP prompt through iterative application of meta-prompting techniques and meta-reasoning aimed at systematically codifying expert review workflows, including tacit knowledge. Submitted once at the start of a session, this PWP prompt equips the LLM with persistent workflows triggered by subsequent queries, guiding modern reasoning LLMs through systematic, multimodal evaluations. Demonstrations show the PWP-guided LLM identifying major methodological flaws in a test case while mitigating LLM input bias and performing complex tasks, including distinguishing claims from evidence, integrating text/photo/figure analysis to infer parameters, executing quantitative feasibility checks, comparing estimates against claims, and assessing a priori plausibility. To ensure transparency and facilitate replication, we provide full prompts, detailed demonstration analyses, and logs of interactive chats as supplementary resources. Beyond the specific application, this work offers insights into the meta-development process itself, highlighting the potential of PWP, informed by detailed workflow formalization, to enable sophisticated analysis using readily available LLMs for complex scientific tasks.