Video-ChatGPT: К детальному пониманию видео с помощью крупных моделей зрения и языка
Video-ChatGPT: Towards Detailed Video Understanding via Large Vision and Language Models
June 8, 2023
Авторы: Muhammad Maaz, Hanoona Rasheed, Salman Khan, Fahad Shahbaz Khan
cs.AI
Аннотация
Диалоговые агенты, основанные на крупных языковых моделях (LLM), открывают новые возможности для взаимодействия с визуальными данными. Хотя уже были предприняты первые попытки создания моделей для диалогов на основе изображений, данная работа исследует малоизученную область диалогов на основе видео, представляя модель Video-ChatGPT. Это мультимодальная модель, которая объединяет визуальный кодировщик, адаптированный для работы с видео, и крупную языковую модель. Модель способна понимать и генерировать естественные диалоги о видео. Мы представляем новый набор данных, состоящий из 100 000 пар "видео-инструкция", который использовался для обучения Video-ChatGPT. Данные были получены с помощью ручного и полуавтоматизированного процесса, который легко масштабируется и устойчив к шуму в метках. Мы также разработали количественную систему оценки для моделей диалогов на основе видео, позволяющую объективно анализировать сильные и слабые стороны предложенных моделей. Наш код, модели, наборы инструкций и демонстрация доступны по адресу https://github.com/mbzuai-oryx/Video-ChatGPT.
English
Conversation agents fueled by Large Language Models (LLMs) are providing a
new way to interact with visual data. While there have been initial attempts
for image-based conversation models, this work addresses the underexplored
field of video-based conversation by introducing Video-ChatGPT. It is a
multimodal model that merges a video-adapted visual encoder with a LLM. The
model is capable of understanding and generating human-like conversations about
videos. We introduce a new dataset of 100,000 video-instruction pairs used to
train Video-ChatGPT acquired via manual and semi-automated pipeline that is
easily scalable and robust to label noise. We also develop a quantiative
evaluation framework for video-based dialogue models to objectively analyse the
strengths and weaknesses of proposed models. Our code, models, instruction-sets
and demo are released at https://github.com/mbzuai-oryx/Video-ChatGPT.