Brückenschlag zwischen VideoQA und videogeführten agentischen Aufgaben mittels generalisierter Schlüsselbild-Extraktion

Zusammenfassung

Das Verständnis von Videos ist eine grundlegende Fähigkeit für multimodale Intelligenz, und aktuelle multimodale große Sprachmodelle (MLLMs) haben bei Video-Frage-Antwort-Benchmarks (VideoQA) bemerkenswerte Leistungen erzielt. Allerdings bewerten bestehende Benchmarks hauptsächlich, ob Modelle oberflächliche visuelle Hinweise wahrnehmen können, während sie selten untersuchen, ob MLLMs tiefere Kenntnisse oder prozedurale Fähigkeiten aus Video-Tutorials erlernen und auf nachgelagerte langfristige agentische Aufgaben verallgemeinern können. Um diese Lücke zu schließen, führen wir VG-GUIBench (Video-Guided GUI Benchmark) ein, einen neuen Benchmark, der darauf ausgelegt ist, zu bewerten, ob MLLM-basierte GUI-Agenten Video-Tutorials befolgen können, um entsprechende interaktive GUI-Aufgaben abzuschließen. Darüber hinaus beobachten wir, dass die Leistung von Modellen sowohl bei VideoQA als auch bei videogeführten agentischen Aufgaben entscheidend von einer effektiven Keyframe-Extraktion abhängt. Basierend auf dieser Beobachtung schlagen wir TASKER (Task-driven And Scene-aware Keyframe searchER) vor, einen Keyframe-Extraktionsalgorithmus, der sowohl die Aufgabenrelevanz als auch die Szenendynamik berücksichtigt, um informative Frames zu identifizieren. Experimentelle Ergebnisse zeigen, dass TASKER sowohl bei VideoQA- als auch bei videogeführten agentischen Aufgaben-Benchmarks signifikante Leistungsverbesserungen erzielt und den besten Basislinien um 2,0 % im EgoSchema-vollen Datensatz bzw. 1,8 % im NExT-QA-Datensatz übertrifft. Diese Ergebnisse unterstreichen zudem das Potenzial generalisierter Keyframe-Extraktionsmethoden für Video-Verständnisaufgaben. Unser Code und unsere Daten sind verfügbar unter https://github.com/VG-GUI-TASKER/VG-GUI-TASKER.

English

Video understanding is a fundamental capability for multimodal intelligence, and recent Multimodal Large Language Models (MLLMs) have achieved remarkable performance on Video Question Answering (VideoQA) benchmarks. However, existing benchmarks primarily evaluate whether models can perceive shallow visual cues, while rarely examining whether MLLMs can learn deeper knowledge or procedural skills from video tutorials and generalize them to downstream long-horizon agentic tasks. To address this gap, we introduce VG-GUIBench (Video-Guided GUI Benchmark), a new benchmark designed to evaluate whether MLLM-based GUI agents can follow video tutorials to complete corresponding GUI interactive tasks. Furthermore, we observe that the performance of models on both VideoQA and video-guided agentic tasks critically depends on effective keyframe extraction. Based on this observation, we propose TASKER (Task-driven And Scene-aware Keyframe searchER), a keyframe extraction algorithm that jointly considers task relevance and scene dynamics to identify informative frames. Experimental results demonstrate that TASKER achieves significant performance improvements on both VideoQA and video-guided agentic task benchmarks, outperforming the best baseline by 2.0% on the EgoSchema fullset and 1.8% on the NExT-QA dataset, respectively. These results further highlight the potential of generalized keyframe extraction methods for video understanding tasks. Our code and data are available at https://github.com/VG-GUI-TASKER/VG-GUI-TASKER.