Волк: Подписывание всего с помощью фреймворка для суммаризации мира

Wolf: Captioning Everything with a World Summarization Framework

July 26, 2024

Авторы: Boyi Li, Ligeng Zhu, Ran Tian, Shuhan Tan, Yuxiao Chen, Yao Lu, Yin Cui, Sushant Veer, Max Ehrlich, Jonah Philion, Xinshuo Weng, Fuzhao Xue, Andrew Tao, Ming-Yu Liu, Sanja Fidler, Boris Ivanovic, Trevor Darrell, Jitendra Malik, Song Han, Marco Pavone

cs.AI

Аннотация

Мы предлагаем Wolf, Фреймворк суммаризации WOrLd для точной подписи видео. Wolf - это автоматизированный фреймворк подписи, который принимает подход смешанных экспертов, используя дополняющие друг друга преимущества моделей Визуального Языка (VLMs). Используя как модели изображений, так и видео, наш фреймворк захватывает разные уровни информации и эффективно их суммирует. Наш подход может быть применен для улучшения понимания видео, авто-разметки и подписывания. Для оценки качества подписей мы представляем CapScore, метрику на основе LLM для оценки сходства и качества сгенерированных подписей по сравнению с подписями истинного значения. Мы также создаем четыре набора данных с аннотациями людей в трех областях: автономное вождение, общие сцены и робототехника, чтобы облегчить всесторонние сравнения. Мы показываем, что Wolf достигает превосходной производительности подписывания по сравнению с передовыми подходами из исследовательского сообщества (VILA1.5, CogAgent) и коммерческими решениями (Gemini-Pro-1.5, GPT-4V). Например, в сравнении с GPT-4V, Wolf улучшает CapScore как по качеству на 55.6%, так и по сходству на 77.4% на сложных видео с вождением. Наконец, мы устанавливаем стандарт для подписывания видео и представляем таблицу лидеров, с целью ускорить прогресс в понимании видео, подписывании и выравнивании данных. Таблица лидеров: https://wolfv0.github.io/leaderboard.html.

English

We propose Wolf, a WOrLd summarization Framework for accurate video captioning. Wolf is an automated captioning framework that adopts a mixture-of-experts approach, leveraging complementary strengths of Vision Language Models (VLMs). By utilizing both image and video models, our framework captures different levels of information and summarizes them efficiently. Our approach can be applied to enhance video understanding, auto-labeling, and captioning. To evaluate caption quality, we introduce CapScore, an LLM-based metric to assess the similarity and quality of generated captions compared to the ground truth captions. We further build four human-annotated datasets in three domains: autonomous driving, general scenes, and robotics, to facilitate comprehensive comparisons. We show that Wolf achieves superior captioning performance compared to state-of-the-art approaches from the research community (VILA1.5, CogAgent) and commercial solutions (Gemini-Pro-1.5, GPT-4V). For instance, in comparison with GPT-4V, Wolf improves CapScore both quality-wise by 55.6% and similarity-wise by 77.4% on challenging driving videos. Finally, we establish a benchmark for video captioning and introduce a leaderboard, aiming to accelerate advancements in video understanding, captioning, and data alignment. Leaderboard: https://wolfv0.github.io/leaderboard.html.