Hacia una investigación profunda multimodal verificable: un arnés multiagente para la generación de informes entrelazados

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs) han evolucionado los agentes autónomos desde la búsqueda profunda, que recupera respuestas factuales concisas, hasta la investigación profunda, que sintetiza evidencia dispersa en informes extensos. Sin embargo, la investigación profunda multimodal verificable sigue siendo un desafío debido a la síntesis abierta sin una verdad fundamental determinista y la necesidad de entrelazar argumentos textuales con evidencia visual. Proponemos Ptah, un sistema multiagente para la generación de informes entrelazados. Ptah orquesta el ciclo de vida desde la consulta del usuario hasta el informe web renderizado a través de etapas de planificación, investigación y redacción, donde agentes especializados construyen planes con conciencia visual, recopilan evidencia fundamentada en afirmaciones, mantienen imágenes alineadas con las fuentes en una Memoria de Trabajo Visual, y redactan informes mediante el uso declarativo de herramientas multimodales. Un agente verificador actúa como función de aceptación del sistema, asegurando el fundamento factual, la fidelidad de las citas y la coherencia entre modalidades a lo largo del flujo de trabajo. Además, presentamos PtahEval, un protocolo de evaluación que complementa los puntos de referencia existentes con evaluaciones a nivel de imagen y de presentación. Los experimentos en puntos de referencia de investigación profunda muestran que Ptah produce informes multimodales más fiables, visualmente informativos y utilizables para los humanos que las líneas base sólidas.

English

Large Language Models (LLMs) have advanced autonomous agents from deep search, which retrieves concise factual answers, to deep research, which synthesizes scattered evidence into long-form reports. However, verifiable multimodal deep research remains challenging due to open-ended synthesis without deterministic ground truth and the need to interleave textual arguments with visual evidence. We propose Ptah, a multi-agent harness for interleaved report generation. Ptah orchestrates the lifecycle from user query to rendered web report through planning, research, and writing stages, where specialized agents construct visual-aware plans, collect claim-grounded evidence, maintain source-aligned images in a Visual Working Memory, and compose reports through declarative multimodal tool use. A verifier agent serves as the harness's acceptance function, enforcing factual grounding, citation fidelity, and cross-modal consistency throughout the workflow. We further introduce PtahEval, an evaluation protocol that augments existing benchmarks with image-level and presentation-level assessments. Experiments on deep research benchmarks show that Ptah produces more reliable, visually informative, and usable human-facing multimodal reports than strong baselines.