Wolf: Untertitelung aller Dinge mit einem Weltzusammenfassungsrahmen

Wolf: Captioning Everything with a World Summarization Framework

July 26, 2024

Autoren: Boyi Li, Ligeng Zhu, Ran Tian, Shuhan Tan, Yuxiao Chen, Yao Lu, Yin Cui, Sushant Veer, Max Ehrlich, Jonah Philion, Xinshuo Weng, Fuzhao Xue, Andrew Tao, Ming-Yu Liu, Sanja Fidler, Boris Ivanovic, Trevor Darrell, Jitendra Malik, Song Han, Marco Pavone

cs.AI

Zusammenfassung

Wir schlagen Wolf vor, ein WOrLd-Zusammenfassungsrahmen für präzise Videobeschriftung. Wolf ist ein automatisierter Beschriftungsrahmen, der einen Expertenmischungsansatz übernimmt und die ergänzenden Stärken von Visionssprachmodellen (VLMs) nutzt. Durch die Nutzung sowohl von Bild- als auch von Videomodellen erfasst unser Rahmen verschiedene Informationsstufen und fasst sie effizient zusammen. Unser Ansatz kann zur Verbesserung des Videoverständnisses, der automatischen Beschriftung und der Beschriftung eingesetzt werden. Zur Bewertung der Beschriftungsqualität führen wir CapScore ein, eine LLM-basierte Metrik zur Bewertung der Ähnlichkeit und Qualität der generierten Beschriftungen im Vergleich zu den Ground-Truth-Beschriftungen. Darüber hinaus erstellen wir vier menschenannotierte Datensätze in drei Bereichen: autonomes Fahren, allgemeine Szenen und Robotik, um umfassende Vergleiche zu ermöglichen. Wir zeigen, dass Wolf im Vergleich zu state-of-the-art-Ansätzen aus der Forschungsgemeinschaft (VILA1.5, CogAgent) und kommerziellen Lösungen (Gemini-Pro-1.5, GPT-4V) eine überlegene Beschriftungsleistung erzielt. Beispielsweise verbessert Wolf im Vergleich zu GPT-4V CapScore sowohl qualitativ um 55,6% als auch ähnlichkeitsmäßig um 77,4% bei anspruchsvollen Fahrvideos. Schließlich etablieren wir einen Benchmark für die Videobeschriftung und führen eine Bestenliste ein, um Fortschritte im Videoverständnis, der Beschriftung und der Datenabstimmung zu beschleunigen. Bestenliste: https://wolfv0.github.io/leaderboard.html.

English

We propose Wolf, a WOrLd summarization Framework for accurate video captioning. Wolf is an automated captioning framework that adopts a mixture-of-experts approach, leveraging complementary strengths of Vision Language Models (VLMs). By utilizing both image and video models, our framework captures different levels of information and summarizes them efficiently. Our approach can be applied to enhance video understanding, auto-labeling, and captioning. To evaluate caption quality, we introduce CapScore, an LLM-based metric to assess the similarity and quality of generated captions compared to the ground truth captions. We further build four human-annotated datasets in three domains: autonomous driving, general scenes, and robotics, to facilitate comprehensive comparisons. We show that Wolf achieves superior captioning performance compared to state-of-the-art approaches from the research community (VILA1.5, CogAgent) and commercial solutions (Gemini-Pro-1.5, GPT-4V). For instance, in comparison with GPT-4V, Wolf improves CapScore both quality-wise by 55.6% and similarity-wise by 77.4% on challenging driving videos. Finally, we establish a benchmark for video captioning and introduce a leaderboard, aiming to accelerate advancements in video understanding, captioning, and data alignment. Leaderboard: https://wolfv0.github.io/leaderboard.html.