Aktive Videowahrnehmung: Iterative Evidenzsuche für agentenbasierte Verarbeitung langer Videos
Active Video Perception: Iterative Evidence Seeking for Agentic Long Video Understanding
December 5, 2025
papers.authors: Ziyang Wang, Honglu Zhou, Shijie Wang, Junnan Li, Caiming Xiong, Silvio Savarese, Mohit Bansal, Michael S. Ryoo, Juan Carlos Niebles
cs.AI
papers.abstract
Das Verständnis langer Videos (LVU) ist eine Herausforderung, da die Beantwortung realer Anfragen oft von spärlichen, zeitlich verstreuten Hinweisen abhängt, die in stundenlangem größtenteils redundantem und irrelevantem Inhalt verborgen sind. Während agentenbasierte Pipelines die Video-Analysefähigkeiten verbessern, verlassen sich gängige Frameworks auf einen abfrage-agnostischen Captioner zur Wahrnehmung von Videoinformationen, was Rechenleistung für irrelevante Inhalte verschwendet und fein granulare zeitliche und räumliche Informationen verschwimmen lässt. Motiviert durch die Theorie der aktiven Wahrnehmung argumentieren wir, dass LVU-Agenten aktiv entscheiden sollten, was, wann und wo sie beobachten, und fortlaufend bewerten müssen, ob die aktuelle Beobachtung zur Beantwortung der Anfrage ausreicht. Wir präsentieren Active Video Perception (AVP), ein evidenzsuchendes Framework, das das Video als interaktive Umgebung behandelt und kompakte, abfragerelevante Evidenz direkt aus den Pixeln gewinnt. Konkret führt AVP einen iterativen Plan-Observe-Reflect-Prozess mit MLLM-Agenten durch. In jeder Runde schlägt ein Planner gezielte Videointeraktionen vor, ein Observer führt diese aus, um zeitgestempelte Evidenz zu extrahieren, und ein Reflector bewertet die Ausreichendheit der Evidenz für die Anfrage – entweder wird mit einer Antwort angehalten oder eine weitere Beobachtung ausgelöst. In fünf LVU-Benchmarks erzielt AVP die höchste Leistung mit signifikanten Verbesserungen. Bemerkenswerterweise übertrifft AVP die beste agentenbasierte Methode um 5,7 % in der durchschnittlichen Genauigkeit, benötigt dabei jedoch nur 18,4 % der Inferenzzeit und 12,4 % der Eingabe-Tokens.
English
Long video understanding (LVU) is challenging because answering real-world queries often depends on sparse, temporally dispersed cues buried in hours of mostly redundant and irrelevant content. While agentic pipelines improve video reasoning capabilities, prevailing frameworks rely on a query-agnostic captioner to perceive video information, which wastes computation on irrelevant content and blurs fine-grained temporal and spatial information. Motivated by active perception theory, we argue that LVU agents should actively decide what, when, and where to observe, and continuously assess whether the current observation is sufficient to answer the query. We present Active Video Perception (AVP), an evidence-seeking framework that treats the video as an interactive environment and acquires compact, queryrelevant evidence directly from pixels. Concretely, AVP runs an iterative plan-observe-reflect process with MLLM agents. In each round, a planner proposes targeted video interactions, an observer executes them to extract time-stamped evidence, and a reflector evaluates the sufficiency of the evidence for the query, either halting with an answer or triggering further observation. Across five LVU benchmarks, AVP achieves highest performance with significant improvements. Notably, AVP outperforms the best agentic method by 5.7% in average accuracy while only requires 18.4% inference time and 12.4% input tokens.