Naar Verifieerbaar Multimodaal Diepgaand Onderzoek: Een Multi-Agent Harnas voor Interleaved Rapportgeneratie

Samenvatting

Large Language Models (LLM's) hebben autonome agenten geavanceerd van deep search, dat beknopte feitelijke antwoorden ophaalt, naar deep research, dat verspreid bewijsmateriaal synthetiseert tot langere rapporten. Verifieerbaar multimodaal deep research blijft echter uitdagend vanwege open-eindsynthese zonder deterministische grondwaarheid en de noodzaak om tekstuele argumenten te verweven met visueel bewijs. Wij stellen Ptah voor, een multi-agent raamwerk voor het genereren van verweven rapporten. Ptah orchestreert de levenscyclus van gebruikersvraag tot gerenderd webrapport via plannings-, onderzoeks- en schrijffasen, waarin gespecialiseerde agenten visueel-bewuste plannen opstellen, bewijsgrond voor claims verzamelen, bron-uitgelijnde afbeeldingen bewaren in een Visual Working Memory, en rapporten samenstellen via declaratief multimodaal toolgebruik. Een verifieerder-agent fungeert als de acceptatiefunctie van het raamwerk, en handhaaft feitelijke onderbouwing, citatietrouw en cross-modale consistentie gedurende de workflow. We introduceren verder PtahEval, een evaluatieprotocol dat bestaande benchmarks aanvult met beoordelingen op afbeeldings- en presentatieniveau. Experimenten op deep research benchmarks tonen aan dat Ptah betrouwbaardere, visueel informatievere en bruikbaardere mensgerichte multimodale rapporten produceert dan sterke baselines.

English

Large Language Models (LLMs) have advanced autonomous agents from deep search, which retrieves concise factual answers, to deep research, which synthesizes scattered evidence into long-form reports. However, verifiable multimodal deep research remains challenging due to open-ended synthesis without deterministic ground truth and the need to interleave textual arguments with visual evidence. We propose Ptah, a multi-agent harness for interleaved report generation. Ptah orchestrates the lifecycle from user query to rendered web report through planning, research, and writing stages, where specialized agents construct visual-aware plans, collect claim-grounded evidence, maintain source-aligned images in a Visual Working Memory, and compose reports through declarative multimodal tool use. A verifier agent serves as the harness's acceptance function, enforcing factual grounding, citation fidelity, and cross-modal consistency throughout the workflow. We further introduce PtahEval, an evaluation protocol that augments existing benchmarks with image-level and presentation-level assessments. Experiments on deep research benchmarks show that Ptah produces more reliable, visually informative, and usable human-facing multimodal reports than strong baselines.