MemDreamer: Ontkoppeling van Perceptie en Redeneren voor Begrip van Lange Video's via Hiërarchisch Graafgeheugen en Agentisch Retrievalmechanisme

Samenvatting

Huidige Vision-Language Modellen hebben moeite met urenlange video's omdat het verwerken van volledige visuele sequenties leidt tot een prohibitieve tokenexplosie en aandachtverdunning. Om dit te overwinnen introduceren we MemDreamer om perceptie en redeneren te ontkoppelen, waarbij het begrijpen van lange video's wordt omgevormd tot een agentisch verkenningsproces. Als een plug-and-play-kader streamt het stapsgewijs video's om een Hiërarchisch Grafiekgeheugen op te bouwen, een top-down architectuur met drie lagen voor semantische abstractie, verankerd door een fundamentele graaf die spatiotemporele en causale relaties vastlegt. Tijdens inferentie gebruikt het redeneermodel agentische tool-verbeterde retrieval, navigeert het door hiërarchieën, zoekt het knooppunten en doorloopt het logische randen via een Observatie-Reden-Actie-lus. Experimenten tonen aan dat MemDreamer SOTA-resultaten behaalt op vier gangbare benchmarks, waarmee de kloof met menselijke experts wordt verkleind tot slechts 3,7 punten. Het beperkt het redeneercontextvenster tot slechts 2% van de volledige contextinname, terwijl het een absolute nauwkeurigheidswinst van 12,5 punten oplevert. Bovendien onthult statistische analyse een sterke positieve lineaire correlatie tussen de prestaties van een VLM op het gebied van logisch redeneren en benchmarks voor het begrijpen van lange video's, waarmee agentische schaalbaarheid wordt gevestigd als een nieuw paradigma voor multimodaal begrip.

English

Current Vision-Language Models struggle with hours-long videos because processing full-length visual sequences induces prohibitive token explosion and attention dilution. To overcome this, we introduce MemDreamer to decouple perception and reasoning, shifting long-video understanding into an agentic exploration process. As a plug-and-play framework, it incrementally streams videos to construct a Hierarchical Graph Memory, a top-down three-tier architecture for semantic abstraction, anchored by a foundational graph capturing spatiotemporal and causal relations. During inference, the reasoning model employs agentic tool-augmented retrieval, navigating hierarchies, searching nodes, and traversing logical edges via an Observation-Reason-Action loop. Experiments show MemDreamer achieves SOTA results across four mainstream benchmarks, narrowing the gap with human experts to only 3.7 points. It constrains the reasoning context window to merely 2% of full-context ingestion while delivering a 12.5 point absolute accuracy gain. Furthermore, statistical analysis uncovers a strong positive linear correlation between an VLM's performance on logic reasoning and long-video understanding benchmarks, establishing agentic capability scaling as a new paradigm for multimodal comprehension.