Объединение VideoQA и видео-управляемых агентных задач посредством обобщенного извлечения ключевых кадров

Аннотация

Понимание видео является фундаментальной способностью мультимодального интеллекта, и недавние мультимодальные большие языковые модели (МБЯМ) достигли впечатляющих результатов в решении задач видео-вопрос-ответ (VideoQA). Однако существующие бенчмарки в основном оценивают, способны ли модели воспринимать поверхностные визуальные подсказки, и редко проверяют, могут ли МБЯМ извлекать более глубокие знания или процедурные навыки из видеоуроков и обобщать их для последующих долгосрочных агентных задач. Для заполнения этого пробела мы представляем VG-GUIBench (Video-Guided GUI Benchmark) — новый бенчмарк, предназначенный для оценки того, могут ли GUI-агенты на основе МБЯМ следовать видеоурокам и выполнять соответствующие интерактивные задачи GUI. Кроме того, мы наблюдаем, что производительность моделей как в VideoQA, так и в задачах агентов, управляемых видео, критически зависит от эффективного извлечения ключевых кадров. На основе этого наблюдения мы предлагаем TASKER (Task-driven And Scene-aware Keyframe searchER) — алгоритм извлечения ключевых кадров, который совместно учитывает релевантность задачи и динамику сцены для выявления информативных кадров. Экспериментальные результаты показывают, что TASKER достигает значительного улучшения производительности как в VideoQA, так и в бенчмарках задач агентов, управляемых видео, превосходя лучший базовый метод на 2,0% на полном наборе EgoSchema и на 1,8% на наборе данных NExT-QA соответственно. Эти результаты дополнительно подчеркивают потенциал обобщенных методов извлечения ключевых кадров для задач понимания видео. Наш код и данные доступны по адресу https://github.com/VG-GUI-TASKER/VG-GUI-TASKER.

English

Video understanding is a fundamental capability for multimodal intelligence, and recent Multimodal Large Language Models (MLLMs) have achieved remarkable performance on Video Question Answering (VideoQA) benchmarks. However, existing benchmarks primarily evaluate whether models can perceive shallow visual cues, while rarely examining whether MLLMs can learn deeper knowledge or procedural skills from video tutorials and generalize them to downstream long-horizon agentic tasks. To address this gap, we introduce VG-GUIBench (Video-Guided GUI Benchmark), a new benchmark designed to evaluate whether MLLM-based GUI agents can follow video tutorials to complete corresponding GUI interactive tasks. Furthermore, we observe that the performance of models on both VideoQA and video-guided agentic tasks critically depends on effective keyframe extraction. Based on this observation, we propose TASKER (Task-driven And Scene-aware Keyframe searchER), a keyframe extraction algorithm that jointly considers task relevance and scene dynamics to identify informative frames. Experimental results demonstrate that TASKER achieves significant performance improvements on both VideoQA and video-guided agentic task benchmarks, outperforming the best baseline by 2.0% on the EgoSchema fullset and 1.8% on the NExT-QA dataset, respectively. These results further highlight the potential of generalized keyframe extraction methods for video understanding tasks. Our code and data are available at https://github.com/VG-GUI-TASKER/VG-GUI-TASKER.