MM-VID: Развитие понимания видео с помощью GPT-4V(ision)

MM-VID: Advancing Video Understanding with GPT-4V(ision)

October 30, 2023

Авторы: Kevin Lin, Faisal Ahmed, Linjie Li, Chung-Ching Lin, Ehsan Azarnasab, Zhengyuan Yang, Jianfeng Wang, Lin Liang, Zicheng Liu, Yumao Lu, Ce Liu, Lijuan Wang

cs.AI

Аннотация

Мы представляем MM-VID, интегрированную систему, которая использует возможности GPT-4V в сочетании со специализированными инструментами для работы с визуальными, аудио- и речевыми данными, чтобы обеспечить продвинутое понимание видео. MM-VID разработана для решения задач, связанных с длинными видео и сложными сценариями, такими как анализ часового контента и понимание сюжетных линий, охватывающих несколько эпизодов. MM-VID применяет генерацию сценария из видео с использованием GPT-4V для преобразования мультимодальных элементов в длинный текстовый сценарий. Сгенерированный сценарий детализирует движения персонажей, их действия, выражения и диалоги, что открывает путь для крупных языковых моделей (LLM) к пониманию видео. Это позволяет реализовать продвинутые функции, включая аудиоописание, идентификацию персонажей и мультимодальное высокоуровневое понимание. Экспериментальные результаты демонстрируют эффективность MM-VID в обработке различных жанров видео с разной продолжительностью. Кроме того, мы показываем её потенциал при применении в интерактивных средах, таких как видеоигры и графические пользовательские интерфейсы.

English

We present MM-VID, an integrated system that harnesses the capabilities of GPT-4V, combined with specialized tools in vision, audio, and speech, to facilitate advanced video understanding. MM-VID is designed to address the challenges posed by long-form videos and intricate tasks such as reasoning within hour-long content and grasping storylines spanning multiple episodes. MM-VID uses a video-to-script generation with GPT-4V to transcribe multimodal elements into a long textual script. The generated script details character movements, actions, expressions, and dialogues, paving the way for large language models (LLMs) to achieve video understanding. This enables advanced capabilities, including audio description, character identification, and multimodal high-level comprehension. Experimental results demonstrate the effectiveness of MM-VID in handling distinct video genres with various video lengths. Additionally, we showcase its potential when applied to interactive environments, such as video games and graphic user interfaces.