Wolf: Alles van Bijschriften Voorzien met een Wereld Samenvattingsraamwerk

Wolf: Captioning Everything with a World Summarization Framework

July 26, 2024

Auteurs: Boyi Li, Ligeng Zhu, Ran Tian, Shuhan Tan, Yuxiao Chen, Yao Lu, Yin Cui, Sushant Veer, Max Ehrlich, Jonah Philion, Xinshuo Weng, Fuzhao Xue, Andrew Tao, Ming-Yu Liu, Sanja Fidler, Boris Ivanovic, Trevor Darrell, Jitendra Malik, Song Han, Marco Pavone

cs.AI

Samenvatting

We stellen Wolf voor, een WOrLd-samenvattingsframework voor nauwkeurige videobijschriften. Wolf is een geautomatiseerd bijschrijfframework dat een mixture-of-experts-benadering hanteert, waarbij het complementaire sterke punten van Vision Language Models (VLMs) benut. Door zowel beeld- als videomodellen te gebruiken, vangt ons framework verschillende niveaus van informatie en vat deze efficiënt samen. Onze aanpak kan worden toegepast om videobegrip, automatische labeling en bijschrijving te verbeteren. Om de kwaliteit van bijschriften te evalueren, introduceren we CapScore, een op LLM gebaseerde metriek om de gelijkenis en kwaliteit van gegenereerde bijschriften te beoordelen in vergelijking met de grondwaarheid-bijschriften. We bouwen verder vier door mensen geannoteerde datasets op in drie domeinen: autonoom rijden, algemene scènes en robotica, om uitgebreide vergelijkingen mogelijk te maken. We tonen aan dat Wolf superieure bijschrijfprestaties bereikt in vergelijking met state-of-the-art benaderingen uit de onderzoeksgemeenschap (VILA1.5, CogAgent) en commerciële oplossingen (Gemini-Pro-1.5, GPT-4V). In vergelijking met GPT-4V verbetert Wolf bijvoorbeeld CapScore kwalitatief met 55,6% en qua gelijkenis met 77,4% op uitdagende rijdende video's. Tot slot stellen we een benchmark voor videobijschrijving op en introduceren we een leaderboard, met als doel de vooruitgang in videobegrip, bijschrijving en data-alignering te versnellen. Leaderboard: https://wolfv0.github.io/leaderboard.html.

English

We propose Wolf, a WOrLd summarization Framework for accurate video captioning. Wolf is an automated captioning framework that adopts a mixture-of-experts approach, leveraging complementary strengths of Vision Language Models (VLMs). By utilizing both image and video models, our framework captures different levels of information and summarizes them efficiently. Our approach can be applied to enhance video understanding, auto-labeling, and captioning. To evaluate caption quality, we introduce CapScore, an LLM-based metric to assess the similarity and quality of generated captions compared to the ground truth captions. We further build four human-annotated datasets in three domains: autonomous driving, general scenes, and robotics, to facilitate comprehensive comparisons. We show that Wolf achieves superior captioning performance compared to state-of-the-art approaches from the research community (VILA1.5, CogAgent) and commercial solutions (Gemini-Pro-1.5, GPT-4V). For instance, in comparison with GPT-4V, Wolf improves CapScore both quality-wise by 55.6% and similarity-wise by 77.4% on challenging driving videos. Finally, we establish a benchmark for video captioning and introduce a leaderboard, aiming to accelerate advancements in video understanding, captioning, and data alignment. Leaderboard: https://wolfv0.github.io/leaderboard.html.