Condicionamiento de Contexto en LLM y PWP Prompting para la Validación Multimodal de Fórmulas Químicas

LLM Context Conditioning and PWP Prompting for Multimodal Validation of Chemical Formulas

May 18, 2025

Autores: Evgeny Markhasin

cs.AI

Resumen

Identificar errores técnicos sutiles en documentos científicos y técnicos complejos, especialmente aquellos que requieren interpretación multimodal (por ejemplo, fórmulas en imágenes), representa un desafío significativo para los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés), cuyas tendencias inherentes de corrección de errores pueden enmascarar imprecisiones. Este estudio exploratorio de prueba de concepto (PoC, por sus siglas en inglés) investiga el condicionamiento estructurado del contexto de los LLMs, basado en los principios de Persistent Workflow Prompting (PWP), como una estrategia metodológica para modular este comportamiento de los LLMs durante la inferencia. El enfoque está diseñado para mejorar la confiabilidad de los LLMs de propósito general ampliamente disponibles (específicamente Gemini 2.5 Pro y ChatGPT Plus o3) en tareas de validación precisa, dependiendo crucialmente únicamente de sus interfaces de chat estándar, sin acceso a API ni modificaciones del modelo. Para explorar esta metodología, nos centramos en validar fórmulas químicas dentro de un único documento de prueba complejo con errores conocidos tanto textuales como basados en imágenes. Se evaluaron varias estrategias de *prompting*: mientras que los *prompts* básicos resultaron poco confiables, un enfoque que adapta estructuras PWP para condicionar rigurosamente la mentalidad analítica del LLM pareció mejorar la identificación de errores textuales en ambos modelos. Notablemente, este método también guió a Gemini 2.5 Pro a identificar repetidamente un error sutil en una fórmula basada en imágenes que había pasado desapercibido durante la revisión manual, una tarea en la que ChatGPT Plus o3 falló en nuestras pruebas. Estos hallazgos preliminares resaltan modos operativos específicos de los LLMs que dificultan la validación orientada a los detalles y sugieren que el condicionamiento del contexto informado por PWP ofrece una técnica prometedora y altamente accesible para desarrollar flujos de trabajo analíticos impulsados por LLMs más robustos, particularmente para tareas que requieren una detección meticulosa de errores en documentos científicos y técnicos. Es necesaria una validación extensa más allá de este PoC limitado para determinar su aplicabilidad más amplia.

English

Identifying subtle technical errors within complex scientific and technical documents, especially those requiring multimodal interpretation (e.g., formulas in images), presents a significant hurdle for Large Language Models (LLMs) whose inherent error-correction tendencies can mask inaccuracies. This exploratory proof-of-concept (PoC) study investigates structured LLM context conditioning, informed by Persistent Workflow Prompting (PWP) principles, as a methodological strategy to modulate this LLM behavior at inference time. The approach is designed to enhance the reliability of readily available, general-purpose LLMs (specifically Gemini 2.5 Pro and ChatGPT Plus o3) for precise validation tasks, crucially relying only on their standard chat interfaces without API access or model modifications. To explore this methodology, we focused on validating chemical formulas within a single, complex test paper with known textual and image-based errors. Several prompting strategies were evaluated: while basic prompts proved unreliable, an approach adapting PWP structures to rigorously condition the LLM's analytical mindset appeared to improve textual error identification with both models. Notably, this method also guided Gemini 2.5 Pro to repeatedly identify a subtle image-based formula error previously overlooked during manual review, a task where ChatGPT Plus o3 failed in our tests. These preliminary findings highlight specific LLM operational modes that impede detail-oriented validation and suggest that PWP-informed context conditioning offers a promising and highly accessible technique for developing more robust LLM-driven analytical workflows, particularly for tasks requiring meticulous error detection in scientific and technical documents. Extensive validation beyond this limited PoC is necessary to ascertain broader applicability.