Descubrimiento Profundo en Videos: Búsqueda Agéntica con Uso de Herramientas para la Comprensión de Videos de Larga Duración
Deep Video Discovery: Agentic Search with Tool Use for Long-form Video Understanding
May 23, 2025
Autores: Xiaoyi Zhang, Zhaoyang Jia, Zongyu Guo, Jiahao Li, Bin Li, Houqiang Li, Yan Lu
cs.AI
Resumen
La comprensión de videos de larga duración presenta desafíos significativos debido a la extensa complejidad espacio-temporal y la dificultad de responder preguntas en contextos tan prolongados. Si bien los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) han demostrado avances considerables en capacidades de análisis de video y manejo de contextos extensos, continúan exhibiendo limitaciones al procesar videos de una hora de duración con alta densidad de información. Para superar estas limitaciones, proponemos el agente Deep Video Discovery (DVD) que aprovecha una estrategia de búsqueda agentiva sobre segmentos de video. A diferencia de agentes de video anteriores que diseñan manualmente un flujo de trabajo rígido, nuestro enfoque enfatiza la naturaleza autónoma de los agentes. Al proporcionar un conjunto de herramientas centradas en la búsqueda sobre una base de datos de video de múltiples granularidades, nuestro agente DVD aprovecha la capacidad de razonamiento avanzado del LLM para planificar su estado de observación actual, seleccionar estratégicamente herramientas, formular parámetros apropiados para las acciones y refinar iterativamente su razonamiento interno a la luz de la información recopilada. Realizamos una evaluación exhaustiva en múltiples benchmarks de comprensión de videos largos que demuestra la ventaja del diseño completo del sistema. Nuestro agente DVD alcanza un rendimiento de vanguardia (SOTA), superando significativamente trabajos previos por un amplio margen en el desafiante conjunto de datos LVBench. También se proporcionan estudios de ablación exhaustivos y análisis detallados de herramientas, ofreciendo insights para avanzar aún más en el desarrollo de agentes inteligentes adaptados a tareas de comprensión de videos de larga duración. El código será publicado posteriormente.
English
Long-form video understanding presents significant challenges due to
extensive temporal-spatial complexity and the difficulty of question answering
under such extended contexts. While Large Language Models (LLMs) have
demonstrated considerable advancements in video analysis capabilities and long
context handling, they continue to exhibit limitations when processing
information-dense hour-long videos. To overcome such limitations, we propose
the Deep Video Discovery agent to leverage an agentic search strategy over
segmented video clips. Different from previous video agents manually designing
a rigid workflow, our approach emphasizes the autonomous nature of agents. By
providing a set of search-centric tools on multi-granular video database, our
DVD agent leverages the advanced reasoning capability of LLM to plan on its
current observation state, strategically selects tools, formulates appropriate
parameters for actions, and iteratively refines its internal reasoning in light
of the gathered information. We perform comprehensive evaluation on multiple
long video understanding benchmarks that demonstrates the advantage of the
entire system design. Our DVD agent achieves SOTA performance, significantly
surpassing prior works by a large margin on the challenging LVBench dataset.
Comprehensive ablation studies and in-depth tool analyses are also provided,
yielding insights to further advance intelligent agents tailored for long-form
video understanding tasks. The code will be released later.