일반화된 키프레임 추출을 통한 VideoQA와 비디오 기반 에이전트 작업 간의 연결

초록

비디오 이해는 다중 모달 지능의 핵심 역량이며, 최근 다중 모달 대규모 언어 모델(MLLM)은 비디오 질문 응답(VideoQA) 벤치마크에서 뛰어난 성능을 달성했다. 그러나 기존 벤치마크는 주로 모델이 피상적인 시각적 단서를 인식할 수 있는지 평가하는 데 초점을 맞추고 있으며, MLLM이 비디오 튜토리얼로부터 더 깊은 지식이나 절차적 기술을 학습하여 이를 장기적인 에이전트 작업으로 일반화할 수 있는지 여부는 거의 검토하지 않는다. 이러한 격차를 해소하기 위해, 우리는 VG-GUIBench(Video-Guided GUI Benchmark)라는 새로운 벤치마크를 도입한다. 이 벤치마크는 MLLM 기반 GUI 에이전트가 비디오 튜토리얼을 따라 해당 GUI 상호작용 작업을 완료할 수 있는지 평가하도록 설계되었다. 또한, 우리는 VideoQA와 비디오 유도 에이전트 작업 모두에서 모델의 성능이 효과적인 키프레임 추출에 결정적으로 의존함을 관찰했다. 이러한 관찰에 기반하여, 우리는 TASKER(Task-driven And Scene-aware Keyframe searchER)라는 키프레임 추출 알고리즘을 제안한다. 이 알고리즘은 작업 관련성과 장면 역학을 동시에 고려하여 정보성 프레임을 식별한다. 실험 결과, TASKER는 VideoQA 및 비디오 유도 에이전트 작업 벤치마크 모두에서 유의미한 성능 향상을 달성했으며, EgoSchema 전체 집합에서 최고 기준선보다 2.0%, NExT-QA 데이터셋에서 1.8% 더 높은 성능을 기록했다. 이러한 결과는 비디오 이해 작업을 위한 일반화된 키프레임 추출 방법의 잠재력을 더욱 강조한다. 우리의 코드와 데이터는 https://github.com/VG-GUI-TASKER/VG-GUI-TASKER에서 확인할 수 있다.

English

Video understanding is a fundamental capability for multimodal intelligence, and recent Multimodal Large Language Models (MLLMs) have achieved remarkable performance on Video Question Answering (VideoQA) benchmarks. However, existing benchmarks primarily evaluate whether models can perceive shallow visual cues, while rarely examining whether MLLMs can learn deeper knowledge or procedural skills from video tutorials and generalize them to downstream long-horizon agentic tasks. To address this gap, we introduce VG-GUIBench (Video-Guided GUI Benchmark), a new benchmark designed to evaluate whether MLLM-based GUI agents can follow video tutorials to complete corresponding GUI interactive tasks. Furthermore, we observe that the performance of models on both VideoQA and video-guided agentic tasks critically depends on effective keyframe extraction. Based on this observation, we propose TASKER (Task-driven And Scene-aware Keyframe searchER), a keyframe extraction algorithm that jointly considers task relevance and scene dynamics to identify informative frames. Experimental results demonstrate that TASKER achieves significant performance improvements on both VideoQA and video-guided agentic task benchmarks, outperforming the best baseline by 2.0% on the EgoSchema fullset and 1.8% on the NExT-QA dataset, respectively. These results further highlight the potential of generalized keyframe extraction methods for video understanding tasks. Our code and data are available at https://github.com/VG-GUI-TASKER/VG-GUI-TASKER.