Wolf: Descrizione di Tutto con un Framework di Sintesi Mondiale

Wolf: Captioning Everything with a World Summarization Framework

July 26, 2024

Autori: Boyi Li, Ligeng Zhu, Ran Tian, Shuhan Tan, Yuxiao Chen, Yao Lu, Yin Cui, Sushant Veer, Max Ehrlich, Jonah Philion, Xinshuo Weng, Fuzhao Xue, Andrew Tao, Ming-Yu Liu, Sanja Fidler, Boris Ivanovic, Trevor Darrell, Jitendra Malik, Song Han, Marco Pavone

cs.AI

Abstract

Proponiamo Wolf, un framework di riepilogo WOrLd per la generazione accurata di didascalie video. Wolf è un framework automatizzato per la creazione di didascalie che adotta un approccio a miscela di esperti, sfruttando i punti di forza complementari dei modelli di linguaggio visivo (VLMs). Utilizzando sia modelli per immagini che per video, il nostro framework cattura diversi livelli di informazione e li riassume in modo efficiente. Il nostro approccio può essere applicato per migliorare la comprensione video, l'etichettatura automatica e la generazione di didascalie. Per valutare la qualità delle didascalie, introduciamo CapScore, una metrica basata su LLM per valutare la somiglianza e la qualità delle didascalie generate rispetto a quelle di riferimento. Inoltre, costruiamo quattro dataset annotati manualmente in tre domini: guida autonoma, scene generali e robotica, per facilitare confronti completi. Dimostriamo che Wolf raggiunge prestazioni superiori nella generazione di didascalie rispetto agli approcci all'avanguardia della comunità di ricerca (VILA1.5, CogAgent) e alle soluzioni commerciali (Gemini-Pro-1.5, GPT-4V). Ad esempio, rispetto a GPT-4V, Wolf migliora CapScore sia in termini di qualità del 55,6% che di somiglianza del 77,4% su video impegnativi di guida. Infine, stabiliamo un benchmark per la generazione di didascalie video e introduciamo una classifica, con l'obiettivo di accelerare i progressi nella comprensione video, nella generazione di didascalie e nell'allineamento dei dati. Classifica: https://wolfv0.github.io/leaderboard.html.

English

We propose Wolf, a WOrLd summarization Framework for accurate video captioning. Wolf is an automated captioning framework that adopts a mixture-of-experts approach, leveraging complementary strengths of Vision Language Models (VLMs). By utilizing both image and video models, our framework captures different levels of information and summarizes them efficiently. Our approach can be applied to enhance video understanding, auto-labeling, and captioning. To evaluate caption quality, we introduce CapScore, an LLM-based metric to assess the similarity and quality of generated captions compared to the ground truth captions. We further build four human-annotated datasets in three domains: autonomous driving, general scenes, and robotics, to facilitate comprehensive comparisons. We show that Wolf achieves superior captioning performance compared to state-of-the-art approaches from the research community (VILA1.5, CogAgent) and commercial solutions (Gemini-Pro-1.5, GPT-4V). For instance, in comparison with GPT-4V, Wolf improves CapScore both quality-wise by 55.6% and similarity-wise by 77.4% on challenging driving videos. Finally, we establish a benchmark for video captioning and introduce a leaderboard, aiming to accelerate advancements in video understanding, captioning, and data alignment. Leaderboard: https://wolfv0.github.io/leaderboard.html.