Lobo: Legendando Tudo com um Framework de Sumarização Mundial

Wolf: Captioning Everything with a World Summarization Framework

July 26, 2024

Autores: Boyi Li, Ligeng Zhu, Ran Tian, Shuhan Tan, Yuxiao Chen, Yao Lu, Yin Cui, Sushant Veer, Max Ehrlich, Jonah Philion, Xinshuo Weng, Fuzhao Xue, Andrew Tao, Ming-Yu Liu, Sanja Fidler, Boris Ivanovic, Trevor Darrell, Jitendra Malik, Song Han, Marco Pavone

cs.AI

Resumo

Propomos o Wolf, um Framework de sumarização do WOrLd para legendagem precisa de vídeos. O Wolf é um framework de legendagem automatizada que adota uma abordagem de mistura de especialistas, aproveitando as forças complementares dos Modelos de Linguagem de Visão (VLMs). Ao utilizar modelos de imagem e vídeo, nosso framework captura diferentes níveis de informação e os resume de forma eficiente. Nossa abordagem pode ser aplicada para aprimorar a compreensão de vídeos, a rotulagem automática e a legendagem. Para avaliar a qualidade das legendas, introduzimos o CapScore, uma métrica baseada em LLM para avaliar a similaridade e qualidade das legendas geradas em comparação com as legendas verdadeiras. Além disso, construímos quatro conjuntos de dados anotados por humanos em três domínios: direção autônoma, cenas gerais e robótica, para facilitar comparações abrangentes. Mostramos que o Wolf alcança um desempenho de legendagem superior em comparação com abordagens de ponta da comunidade de pesquisa (VILA1.5, CogAgent) e soluções comerciais (Gemini-Pro-1.5, GPT-4V). Por exemplo, em comparação com o GPT-4V, o Wolf melhora o CapScore tanto em qualidade em 55,6% quanto em similaridade em 77,4% em vídeos desafiadores de direção. Por fim, estabelecemos um referencial para legendagem de vídeos e introduzimos um quadro de líderes, com o objetivo de acelerar avanços na compreensão de vídeos, legendagem e alinhamento de dados. Quadro de líderes: https://wolfv0.github.io/leaderboard.html.

English

We propose Wolf, a WOrLd summarization Framework for accurate video captioning. Wolf is an automated captioning framework that adopts a mixture-of-experts approach, leveraging complementary strengths of Vision Language Models (VLMs). By utilizing both image and video models, our framework captures different levels of information and summarizes them efficiently. Our approach can be applied to enhance video understanding, auto-labeling, and captioning. To evaluate caption quality, we introduce CapScore, an LLM-based metric to assess the similarity and quality of generated captions compared to the ground truth captions. We further build four human-annotated datasets in three domains: autonomous driving, general scenes, and robotics, to facilitate comprehensive comparisons. We show that Wolf achieves superior captioning performance compared to state-of-the-art approaches from the research community (VILA1.5, CogAgent) and commercial solutions (Gemini-Pro-1.5, GPT-4V). For instance, in comparison with GPT-4V, Wolf improves CapScore both quality-wise by 55.6% and similarity-wise by 77.4% on challenging driving videos. Finally, we establish a benchmark for video captioning and introduce a leaderboard, aiming to accelerate advancements in video understanding, captioning, and data alignment. Leaderboard: https://wolfv0.github.io/leaderboard.html.