Relier VideoQA et les tâches agentiques guidées par vidéo grâce à l'extraction généralisée de keyframes

Résumé

La compréhension vidéo est une capacité fondamentale pour l'intelligence multimodale, et les récents Modèles de Langage Multimodaux de Grande Taille (MLLMs) ont obtenu des performances remarquables sur les benchmarks de Réponse à des Questions Vidéo (VideoQA). Cependant, les benchmarks existants évaluent principalement si les modèles perçoivent des indices visuels superficiels, et examinent rarement si les MLLMs peuvent acquérir des connaissances plus profondes ou des compétences procédurales à partir de tutoriels vidéo et les généraliser à des tâches agentiques à long terme en aval. Pour combler cette lacune, nous introduisons VG-GUIBench (Video-Guided GUI Benchmark), un nouveau benchmark conçu pour évaluer si les agents GUI basés sur les MLLMs peuvent suivre des tutoriels vidéo pour accomplir les tâches interactives GUI correspondantes. De plus, nous observons que la performance des modèles sur les benchmarks VideoQA et les tâches agentiques guidées par vidéo dépend crucialement d'une extraction efficace d'images-clés. Sur la base de cette observation, nous proposons TASKER (Task-driven And Scene-aware Keyframe searchER), un algorithme d'extraction d'images-clés qui considère conjointement la pertinence par rapport à la tâche et les dynamiques de la scène pour identifier les images informatives. Les résultats expérimentaux montrent que TASKER obtient des améliorations significatives de performance sur les benchmarks VideoQA et les benchmarks de tâches agentiques guidées par vidéo, dépassant la meilleure référence de 2,0 % sur l'ensemble complet d'EgoSchema et de 1,8 % sur le jeu de données NExT-QA, respectivement. Ces résultats soulignent en outre le potentiel des méthodes généralisées d'extraction d'images-clés pour les tâches de compréhension vidéo. Notre code et nos données sont disponibles à l'adresse https://github.com/VG-GUI-TASKER/VG-GUI-TASKER.

English

Video understanding is a fundamental capability for multimodal intelligence, and recent Multimodal Large Language Models (MLLMs) have achieved remarkable performance on Video Question Answering (VideoQA) benchmarks. However, existing benchmarks primarily evaluate whether models can perceive shallow visual cues, while rarely examining whether MLLMs can learn deeper knowledge or procedural skills from video tutorials and generalize them to downstream long-horizon agentic tasks. To address this gap, we introduce VG-GUIBench (Video-Guided GUI Benchmark), a new benchmark designed to evaluate whether MLLM-based GUI agents can follow video tutorials to complete corresponding GUI interactive tasks. Furthermore, we observe that the performance of models on both VideoQA and video-guided agentic tasks critically depends on effective keyframe extraction. Based on this observation, we propose TASKER (Task-driven And Scene-aware Keyframe searchER), a keyframe extraction algorithm that jointly considers task relevance and scene dynamics to identify informative frames. Experimental results demonstrate that TASKER achieves significant performance improvements on both VideoQA and video-guided agentic task benchmarks, outperforming the best baseline by 2.0% on the EgoSchema fullset and 1.8% on the NExT-QA dataset, respectively. These results further highlight the potential of generalized keyframe extraction methods for video understanding tasks. Our code and data are available at https://github.com/VG-GUI-TASKER/VG-GUI-TASKER.