MovieLLM: Улучшение понимания длинных видео с помощью созданных искусственным интеллектом фильмов
MovieLLM: Enhancing Long Video Understanding with AI-Generated Movies
March 3, 2024
Авторы: Zhende Song, Chenchen Wang, Jiamu Sheng, Chi Zhang, Gang Yu, Jiayuan Fan, Tao Chen
cs.AI
Аннотация
Развитие мультимодельных моделей стало значительным шагом вперед в понимании видео машинами. Эти модели показали перспективы в анализе коротких видеороликов. Однако, когда речь идет о более длинных форматах, таких как фильмы, они часто не справляются. Основные препятствия заключаются в отсутствии качественных и разнообразных видеоданных и интенсивной работе, необходимой для их сбора или аннотирования. Сталкиваясь с этими проблемами, мы предлагаем MovieLLM, новую концепцию, разработанную для создания синтетических высококачественных данных для длинных видеороликов. Эта концепция использует мощь GPT-4 и моделей текста-к-изображению для генерации подробных сценариев и соответствующих визуальных элементов. Наш подход выделяется своей гибкостью и масштабируемостью, что делает его превосходной альтернативой традиционным методам сбора данных. Наши обширные эксперименты подтверждают, что данные, созданные MovieLLM, значительно улучшают производительность мультимодельных моделей в понимании сложных видеорассказов, преодолевая ограничения существующих наборов данных в отношении их ограниченности и предвзятости.
English
The development of multimodal models has marked a significant step forward in
how machines understand videos. These models have shown promise in analyzing
short video clips. However, when it comes to longer formats like movies, they
often fall short. The main hurdles are the lack of high-quality, diverse video
data and the intensive work required to collect or annotate such data. In the
face of these challenges, we propose MovieLLM, a novel framework designed to
create synthetic, high-quality data for long videos. This framework leverages
the power of GPT-4 and text-to-image models to generate detailed scripts and
corresponding visuals. Our approach stands out for its flexibility and
scalability, making it a superior alternative to traditional data collection
methods. Our extensive experiments validate that the data produced by MovieLLM
significantly improves the performance of multimodal models in understanding
complex video narratives, overcoming the limitations of existing datasets
regarding scarcity and bias.