Uniendo VideoQA y Tareas Agentivas Guiadas por Video mediante Extracción Generalizada de Fotogramas Clave

Resumen

La comprensión de video es una capacidad fundamental para la inteligencia multimodal, y los recientes Modelos de Lenguaje Grande Multimodales (MLLMs) han logrado un rendimiento notable en los puntos de referencia de Respuesta a Preguntas sobre Video (VideoQA). Sin embargo, los puntos de referencia existentes evalúan principalmente si los modelos pueden percibir señales visuales superficiales, mientras que rara vez examinan si los MLLMs pueden aprender conocimientos más profundos o habilidades procedimentales a partir de tutoriales en video y generalizarlos a tareas agentivas de largo horizonte posteriores. Para abordar esta brecha, presentamos VG-GUIBench (Video-Guided GUI Benchmark), un nuevo punto de referencia diseñado para evaluar si los agentes de GUI basados en MLLMs pueden seguir tutoriales en video para completar las tareas interactivas de GUI correspondientes. Además, observamos que el rendimiento de los modelos tanto en VideoQA como en tareas agentivas guiadas por video depende críticamente de una extracción efectiva de fotogramas clave. Basándonos en esta observación, proponemos TASKER (Task-driven And Scene-aware Keyframe searchER), un algoritmo de extracción de fotogramas clave que considera conjuntamente la relevancia de la tarea y la dinámica de la escena para identificar fotogramas informativos. Los resultados experimentales demuestran que TASKER logra mejoras significativas en el rendimiento tanto en VideoQA como en los puntos de referencia de tareas agentivas guiadas por video, superando al mejor método base en un 2.0% en el conjunto completo de EgoSchema y en un 1.8% en el conjunto de datos NExT-QA, respectivamente. Estos resultados destacan además el potencial de los métodos generalizados de extracción de fotogramas clave para tareas de comprensión de video. Nuestro código y datos están disponibles en https://github.com/VG-GUI-TASKER/VG-GUI-TASKER.

English

Video understanding is a fundamental capability for multimodal intelligence, and recent Multimodal Large Language Models (MLLMs) have achieved remarkable performance on Video Question Answering (VideoQA) benchmarks. However, existing benchmarks primarily evaluate whether models can perceive shallow visual cues, while rarely examining whether MLLMs can learn deeper knowledge or procedural skills from video tutorials and generalize them to downstream long-horizon agentic tasks. To address this gap, we introduce VG-GUIBench (Video-Guided GUI Benchmark), a new benchmark designed to evaluate whether MLLM-based GUI agents can follow video tutorials to complete corresponding GUI interactive tasks. Furthermore, we observe that the performance of models on both VideoQA and video-guided agentic tasks critically depends on effective keyframe extraction. Based on this observation, we propose TASKER (Task-driven And Scene-aware Keyframe searchER), a keyframe extraction algorithm that jointly considers task relevance and scene dynamics to identify informative frames. Experimental results demonstrate that TASKER achieves significant performance improvements on both VideoQA and video-guided agentic task benchmarks, outperforming the best baseline by 2.0% on the EgoSchema fullset and 1.8% on the NExT-QA dataset, respectively. These results further highlight the potential of generalized keyframe extraction methods for video understanding tasks. Our code and data are available at https://github.com/VG-GUI-TASKER/VG-GUI-TASKER.