Deep Video Discovery: Agentische Suche mit Werkzeugnutzung für das Verständnis von Langform-Videos

Deep Video Discovery: Agentic Search with Tool Use for Long-form Video Understanding

May 23, 2025

papers.authors: Xiaoyi Zhang, Zhaoyang Jia, Zongyu Guo, Jiahao Li, Bin Li, Houqiang Li, Yan Lu

cs.AI

papers.abstract

Das Verständnis von Langform-Videos stellt aufgrund der umfangreichen zeitlich-räumlichen Komplexität und der Schwierigkeit der Fragebeantwortung in solch ausgedehnten Kontexten erhebliche Herausforderungen dar. Obwohl Large Language Models (LLMs) erhebliche Fortschritte in den Fähigkeiten zur Videoanalyse und der Handhabung langer Kontexte gezeigt haben, weisen sie weiterhin Einschränkungen bei der Verarbeitung von informationsdichten, stundenlangen Videos auf. Um diese Einschränkungen zu überwinden, schlagen wir den Deep Video Discovery-Agenten vor, der eine agentenbasierte Suchstrategie über segmentierte Videoclips nutzt. Im Gegensatz zu früheren Video-Agenten, die manuell einen starren Arbeitsablauf entwerfen, betont unser Ansatz die autonome Natur von Agenten. Indem wir eine Reihe von suchzentrierten Werkzeugen auf einer mehrgranularen Videodatenbank bereitstellen, nutzt unser DVD-Agent die fortgeschrittene Denkfähigkeit des LLM, um basierend auf seinem aktuellen Beobachtungszustand zu planen, strategisch Werkzeuge auszuwählen, geeignete Parameter für Aktionen zu formulieren und seine interne Argumentation iterativ anhand der gesammelten Informationen zu verfeinern. Wir führen eine umfassende Bewertung auf mehreren Benchmarks für das Verständnis von Langform-Videos durch, die den Vorteil des gesamten Systemdesigns demonstriert. Unser DVD-Agent erreicht SOTA-Leistungen und übertrifft frühere Arbeiten auf dem anspruchsvollen LVBench-Datensatz deutlich. Umfassende Ablationsstudien und detaillierte Werkzeuganalysen werden ebenfalls bereitgestellt, die Einblicke bieten, um intelligente Agenten weiter voranzutreiben, die speziell für Aufgaben zum Verständnis von Langform-Videos entwickelt wurden. Der Code wird später veröffentlicht.

English

Long-form video understanding presents significant challenges due to extensive temporal-spatial complexity and the difficulty of question answering under such extended contexts. While Large Language Models (LLMs) have demonstrated considerable advancements in video analysis capabilities and long context handling, they continue to exhibit limitations when processing information-dense hour-long videos. To overcome such limitations, we propose the Deep Video Discovery agent to leverage an agentic search strategy over segmented video clips. Different from previous video agents manually designing a rigid workflow, our approach emphasizes the autonomous nature of agents. By providing a set of search-centric tools on multi-granular video database, our DVD agent leverages the advanced reasoning capability of LLM to plan on its current observation state, strategically selects tools, formulates appropriate parameters for actions, and iteratively refines its internal reasoning in light of the gathered information. We perform comprehensive evaluation on multiple long video understanding benchmarks that demonstrates the advantage of the entire system design. Our DVD agent achieves SOTA performance, significantly surpassing prior works by a large margin on the challenging LVBench dataset. Comprehensive ablation studies and in-depth tool analyses are also provided, yielding insights to further advance intelligent agents tailored for long-form video understanding tasks. The code will be released later.