Auf dem Weg zur verifizierbaren multimodalen Tiefenforschung: Ein Multi-Agenten-Framework für die verschränkte Berichtsgenerierung

Zusammenfassung

Große Sprachmodelle (LLMs) haben autonome Agenten von Deep Search, das präzise faktenbasierte Antworten abruft, zu Deep Research weiterentwickelt, das verstreute Belege zu ausführlichen Berichten synthetisiert. Die überprüfbare multimodale Tiefenrecherche bleibt jedoch aufgrund der offenen Synthese ohne deterministische Grundwahrheit und der Notwendigkeit, textliche Argumente mit visuellen Belegen zu verflechten, eine Herausforderung. Wir stellen Ptah vor, ein Multi-Agenten-System zur Erstellung verschränkter Berichte. Ptah orchestriert den Lebenszyklus von der Benutzeranfrage bis zum gerenderten Webb ericht über die Phasen Planung, Recherche und Schreiben, in denen spezialisierte Agenten visuell bewusste Pläne erstellen, behauptungsgestützte Belege sammeln, quellenkonforme Bilder in einem visuellen Arbeitsgedächtnis verwalten und Berichte durch deklarative multimodale Werkzeugnutzung verfassen. Ein Verifizierer-Agent dient als Akzeptanzfunktion des Systems und setzt während des gesamten Arbeitsablaufs faktische Fundierung, Zitationstreue und modalübergreifende Konsistenz durch. Wir führen ferner PtahEval ein, ein Evaluationsprotokoll, das bestehende Benchmarks um Bewertungen auf Bildebene und Präsentationsebene erweitert. Experimente mit Deep-Research-Benchmarks zeigen, dass Ptah im Vergleich zu starken Baselines zuverlässigere, visuell informativere und benutzbarere menschenorientierte multimodale Berichte erzeugt.

English

Large Language Models (LLMs) have advanced autonomous agents from deep search, which retrieves concise factual answers, to deep research, which synthesizes scattered evidence into long-form reports. However, verifiable multimodal deep research remains challenging due to open-ended synthesis without deterministic ground truth and the need to interleave textual arguments with visual evidence. We propose Ptah, a multi-agent harness for interleaved report generation. Ptah orchestrates the lifecycle from user query to rendered web report through planning, research, and writing stages, where specialized agents construct visual-aware plans, collect claim-grounded evidence, maintain source-aligned images in a Visual Working Memory, and compose reports through declarative multimodal tool use. A verifier agent serves as the harness's acceptance function, enforcing factual grounding, citation fidelity, and cross-modal consistency throughout the workflow. We further introduce PtahEval, an evaluation protocol that augments existing benchmarks with image-level and presentation-level assessments. Experiments on deep research benchmarks show that Ptah produces more reliable, visually informative, and usable human-facing multimodal reports than strong baselines.