VideoEspresso: Ein umfangreiches Ketten-von-Gedanken-Datenset für Feinabstufungs-Videobegründung durch Kernbildauswahl

VideoEspresso: A Large-Scale Chain-of-Thought Dataset for Fine-Grained Video Reasoning via Core Frame Selection

November 22, 2024

Autoren: Songhao Han, Wei Huang, Hairong Shi, Le Zhuo, Xiu Su, Shifeng Zhang, Xu Zhou, Xiaojuan Qi, Yue Liao, Si Liu

cs.AI

Zusammenfassung

Der Fortschritt großer Vision-Sprachmodelle (LVLMs) hat das multimodale Verständnis erheblich verbessert, dennoch bestehen Herausforderungen bei der Videobegründung aufgrund des Mangels an hochwertigen, umfangreichen Datensätzen. Bestehende Datensätze zur Video-Fragenbeantwortung (VideoQA) stützen sich oft auf kostspielige manuelle Annotationen mit unzureichender Granularität oder automatische Konstruktionsmethoden mit redundanten framegenauen Analysen, was ihre Skalierbarkeit und Effektivität für komplexe Begründungen einschränkt. Um diesen Herausforderungen zu begegnen, stellen wir VideoEspresso vor, einen neuartigen Datensatz, der VideoQA-Paare mit wesentlichen räumlichen Details und zeitlicher Kohärenz sowie multimodalen Annotationen von Zwischenschritten der Begründung enthält. Unsere Konstruktionspipeline verwendet eine semantikbewusste Methode zur Reduzierung von Redundanzen, gefolgt von der Generierung von QA-Paaren unter Verwendung von GPT-4o. Wir entwickeln außerdem Video-Chain-of-Thought (CoT)-Annotationen, um Begründungsprozesse zu bereichern, die GPT-4o dabei unterstützen, logische Beziehungen aus QA-Paaren und Videoinhalten zu extrahieren. Um das Potenzial hochwertiger VideoQA-Paare auszuschöpfen, schlagen wir ein Hybrid-LVLMs-Kollaborationsframework vor, das einen Frame-Selektor und ein zweistufiges instruktionsfeinabgestimmtes Begründungs-LVLM umfasst. Dieses Framework wählt adaptiv Kernframes aus und führt CoT-Begründungen unter Verwendung multimodaler Beweise durch. Anhand unseres vorgeschlagenen Benchmarks mit 14 Aufgaben im Vergleich zu 9 beliebten LVLMs übertrifft unsere Methode bestehende Baselines bei den meisten Aufgaben und zeigt überlegene videobegründende Fähigkeiten. Unser Code und Datensatz werden unter folgendem Link veröffentlicht: https://github.com/hshjerry/VideoEspresso

English

The advancement of Large Vision Language Models (LVLMs) has significantly improved multimodal understanding, yet challenges remain in video reasoning tasks due to the scarcity of high-quality, large-scale datasets. Existing video question-answering (VideoQA) datasets often rely on costly manual annotations with insufficient granularity or automatic construction methods with redundant frame-by-frame analysis, limiting their scalability and effectiveness for complex reasoning. To address these challenges, we introduce VideoEspresso, a novel dataset that features VideoQA pairs preserving essential spatial details and temporal coherence, along with multimodal annotations of intermediate reasoning steps. Our construction pipeline employs a semantic-aware method to reduce redundancy, followed by generating QA pairs using GPT-4o. We further develop video Chain-of-Thought (CoT) annotations to enrich reasoning processes, guiding GPT-4o in extracting logical relationships from QA pairs and video content. To exploit the potential of high-quality VideoQA pairs, we propose a Hybrid LVLMs Collaboration framework, featuring a Frame Selector and a two-stage instruction fine-tuned reasoning LVLM. This framework adaptively selects core frames and performs CoT reasoning using multimodal evidence. Evaluated on our proposed benchmark with 14 tasks against 9 popular LVLMs, our method outperforms existing baselines on most tasks, demonstrating superior video reasoning capabilities. Our code and dataset will be released at: https://github.com/hshjerry/VideoEspresso