LLMのコンテキスト条件付けとPWPプロンプティングによる化学式のマルチモーダル検証

LLM Context Conditioning and PWP Prompting for Multimodal Validation of Chemical Formulas

May 18, 2025

著者: Evgeny Markhasin

cs.AI

要旨

複雑な科学技術文書、特に多モーダルな解釈を必要とするもの（例えば画像中の数式）における微妙な技術的誤りを特定することは、大規模言語モデル（LLM）にとって大きな課題である。LLMの内在的な誤り修正傾向が不正確さを隠してしまうためだ。この探索的な概念実証（PoC）研究では、Persistent Workflow Prompting（PWP）の原則に基づいた構造化されたLLMコンテキスト条件付けを、推論時にこのLLMの挙動を調整する方法論的戦略として調査する。このアプローチは、APIアクセスやモデルの変更を必要とせず、標準的なチャットインターフェースのみを利用して、汎用LLM（具体的にはGemini 2.5 ProとChatGPT Plus o3）の精密な検証タスクにおける信頼性を向上させることを目的としている。この方法論を探るため、既知のテキストおよび画像ベースの誤りを含む単一の複雑なテスト論文内の化学式の検証に焦点を当てた。いくつかのプロンプト戦略を評価した結果、基本的なプロンプトは信頼性に欠けることが判明したが、PWP構造を適応させてLLMの分析的思考を厳密に条件付けるアプローチは、両モデルにおいてテキスト誤りの特定を改善するように見えた。特に、この方法はGemini 2.5 Proを導き、手動レビュー中に見落とされていた微妙な画像ベースの数式誤りを繰り返し特定させたが、ChatGPT Plus o3はこのタスクで失敗した。これらの予備的な発見は、詳細指向の検証を妨げる特定のLLM動作モードを浮き彫りにし、PWPに基づくコンテキスト条件付けが、科学的・技術的文書における緻密な誤り検出を必要とするタスクにおいて、より堅牢なLLM駆動の分析ワークフローを開発するための有望で非常にアクセスしやすい技術を提供することを示唆している。この限定的なPoCを超えた広範な検証が、より広範な適用可能性を確認するために必要である。

English

Identifying subtle technical errors within complex scientific and technical documents, especially those requiring multimodal interpretation (e.g., formulas in images), presents a significant hurdle for Large Language Models (LLMs) whose inherent error-correction tendencies can mask inaccuracies. This exploratory proof-of-concept (PoC) study investigates structured LLM context conditioning, informed by Persistent Workflow Prompting (PWP) principles, as a methodological strategy to modulate this LLM behavior at inference time. The approach is designed to enhance the reliability of readily available, general-purpose LLMs (specifically Gemini 2.5 Pro and ChatGPT Plus o3) for precise validation tasks, crucially relying only on their standard chat interfaces without API access or model modifications. To explore this methodology, we focused on validating chemical formulas within a single, complex test paper with known textual and image-based errors. Several prompting strategies were evaluated: while basic prompts proved unreliable, an approach adapting PWP structures to rigorously condition the LLM's analytical mindset appeared to improve textual error identification with both models. Notably, this method also guided Gemini 2.5 Pro to repeatedly identify a subtle image-based formula error previously overlooked during manual review, a task where ChatGPT Plus o3 failed in our tests. These preliminary findings highlight specific LLM operational modes that impede detail-oriented validation and suggest that PWP-informed context conditioning offers a promising and highly accessible technique for developing more robust LLM-driven analytical workflows, particularly for tasks requiring meticulous error detection in scientific and technical documents. Extensive validation beyond this limited PoC is necessary to ascertain broader applicability.