Врипт: Видео стоит тысячи слов

Vript: A Video Is Worth Thousands of Words

June 10, 2024

Авторы: Dongjie Yang, Suyuan Huang, Chengqiang Lu, Xiaodong Han, Haoxin Zhang, Yan Gao, Yao Hu, Hai Zhao

cs.AI

Аннотация

Продвижения в мультимодальном обучении, особенно в понимании и генерации видео, требуют высококачественных видео-текстовых наборов данных для улучшения производительности моделей. Vript решает эту проблему с тщательно аннотированным корпусом из 12 тыс. видеороликов высокого разрешения, предлагая подробные, плотные и сценарийные подписи для более чем 420 тыс. клипов. Каждый клип имеет подпись примерно в 145 слов, что в более чем 10 раз длиннее, чем у большинства видео-текстовых наборов данных. В отличие от подписей, документирующих только статический контент в предыдущих наборах данных, мы улучшаем подписывание видео, превращая его в видеосценарий, документируя не только содержание, но и операции камеры, включая типы кадров (средний план, крупный план и т. д.) и движения камеры (панорамирование, наклон и т. д.). Используя Vript, мы исследуем три парадигмы обучения, выравнивающие больше текста с видео-модальностью, чем пары клип-подпись. Это приводит к Vriptor, модели подписывания видео с лучшей производительностью среди моделей с открытым исходным кодом, сравнимой с GPT-4V по производительности. Vriptor также является мощной моделью, способной к генерации плотных и подробных подписей для длинных видеороликов от начала и до конца. Более того, мы представляем Vript-Hard, бенчмарк, состоящий из трех задач понимания видео, более сложных, чем существующие бенчмарки: Vript-HAL - первый бенчмарк, оценивающий действия и объектные галлюцинации в видео LLMs, Vript-RR объединяет рассуждения с поиском, разрешая неоднозначность вопросов в длинных видео-вопросах и ответах, а Vript-ERO - новая задача для оценки временного понимания событий в длинных видеороликах, а не действий в коротких видео, как это было в предыдущих работах. Весь код, модели и наборы данных доступны на https://github.com/mutonix/Vript.

English

Advancements in multimodal learning, particularly in video understanding and generation, require high-quality video-text datasets for improved model performance. Vript addresses this issue with a meticulously annotated corpus of 12K high-resolution videos, offering detailed, dense, and script-like captions for over 420K clips. Each clip has a caption of ~145 words, which is over 10x longer than most video-text datasets. Unlike captions only documenting static content in previous datasets, we enhance video captioning to video scripting by documenting not just the content, but also the camera operations, which include the shot types (medium shot, close-up, etc) and camera movements (panning, tilting, etc). By utilizing the Vript, we explore three training paradigms of aligning more text with the video modality rather than clip-caption pairs. This results in Vriptor, a top-performing video captioning model among open-source models, comparable to GPT-4V in performance. Vriptor is also a powerful model capable of end-to-end generation of dense and detailed captions for long videos. Moreover, we introduce Vript-Hard, a benchmark consisting of three video understanding tasks that are more challenging than existing benchmarks: Vript-HAL is the first benchmark evaluating action and object hallucinations in video LLMs, Vript-RR combines reasoning with retrieval resolving question ambiguity in long-video QAs, and Vript-ERO is a new task to evaluate the temporal understanding of events in long videos rather than actions in short videos in previous works. All code, models, and datasets are available in https://github.com/mutonix/Vript.