Conditionnement contextuel des LLM et incitation PWP pour la validation multimodale des formules chimiques

LLM Context Conditioning and PWP Prompting for Multimodal Validation of Chemical Formulas

May 18, 2025

Auteurs: Evgeny Markhasin

cs.AI

Résumé

L'identification d'erreurs techniques subtiles dans des documents scientifiques et techniques complexes, en particulier ceux nécessitant une interprétation multimodale (par exemple, des formules dans des images), représente un défi majeur pour les modèles de langage de grande envergure (LLMs), dont les tendances inhérentes à la correction d'erreurs peuvent masquer les inexactitudes. Cette étude exploratoire de preuve de concept (PoC) examine le conditionnement structuré du contexte des LLMs, inspiré des principes du *Persistent Workflow Prompting* (PWP), comme stratégie méthodologique pour moduler ce comportement des LLMs au moment de l'inférence. Cette approche vise à améliorer la fiabilité des LLMs polyvalents facilement accessibles (notamment Gemini 2.5 Pro et ChatGPT Plus o3) pour des tâches de validation précises, en s'appuyant uniquement sur leurs interfaces de chat standard, sans accès à l'API ni modifications du modèle. Pour explorer cette méthodologie, nous nous sommes concentrés sur la validation de formules chimiques dans un seul document de test complexe contenant des erreurs textuelles et basées sur des images. Plusieurs stratégies d'invite ont été évaluées : si les invites de base se sont révélées peu fiables, une approche adaptant les structures PWP pour conditionner rigoureusement l'état d'esprit analytique des LLMs a semblé améliorer l'identification des erreurs textuelles avec les deux modèles. Fait notable, cette méthode a également permis à Gemini 2.5 Pro d'identifier à plusieurs reprises une erreur subtile de formule basée sur une image, précédemment négligée lors de la revue manuelle, une tâche où ChatGPT Plus o3 a échoué dans nos tests. Ces résultats préliminaires mettent en lumière des modes opératoires spécifiques des LLMs qui entravent la validation axée sur les détails et suggèrent que le conditionnement du contexte inspiré par le PWP offre une technique prometteuse et hautement accessible pour développer des workflows analytiques plus robustes pilotés par les LLMs, en particulier pour les tâches nécessitant une détection méticuleuse des erreurs dans les documents scientifiques et techniques. Une validation approfondie au-delà de cette PoC limitée est nécessaire pour confirmer une applicabilité plus large.

English

Identifying subtle technical errors within complex scientific and technical documents, especially those requiring multimodal interpretation (e.g., formulas in images), presents a significant hurdle for Large Language Models (LLMs) whose inherent error-correction tendencies can mask inaccuracies. This exploratory proof-of-concept (PoC) study investigates structured LLM context conditioning, informed by Persistent Workflow Prompting (PWP) principles, as a methodological strategy to modulate this LLM behavior at inference time. The approach is designed to enhance the reliability of readily available, general-purpose LLMs (specifically Gemini 2.5 Pro and ChatGPT Plus o3) for precise validation tasks, crucially relying only on their standard chat interfaces without API access or model modifications. To explore this methodology, we focused on validating chemical formulas within a single, complex test paper with known textual and image-based errors. Several prompting strategies were evaluated: while basic prompts proved unreliable, an approach adapting PWP structures to rigorously condition the LLM's analytical mindset appeared to improve textual error identification with both models. Notably, this method also guided Gemini 2.5 Pro to repeatedly identify a subtle image-based formula error previously overlooked during manual review, a task where ChatGPT Plus o3 failed in our tests. These preliminary findings highlight specific LLM operational modes that impede detail-oriented validation and suggest that PWP-informed context conditioning offers a promising and highly accessible technique for developing more robust LLM-driven analytical workflows, particularly for tasks requiring meticulous error detection in scientific and technical documents. Extensive validation beyond this limited PoC is necessary to ascertain broader applicability.