MovieLLM: Улучшение понимания длинных видео с помощью созданных искусственным интеллектом фильмов

MovieLLM: Enhancing Long Video Understanding with AI-Generated Movies

March 3, 2024

Авторы: Zhende Song, Chenchen Wang, Jiamu Sheng, Chi Zhang, Gang Yu, Jiayuan Fan, Tao Chen

cs.AI

Аннотация

Развитие мультимодельных моделей стало значительным шагом вперед в понимании видео машинами. Эти модели показали перспективы в анализе коротких видеороликов. Однако, когда речь идет о более длинных форматах, таких как фильмы, они часто не справляются. Основные препятствия заключаются в отсутствии качественных и разнообразных видеоданных и интенсивной работе, необходимой для их сбора или аннотирования. Сталкиваясь с этими проблемами, мы предлагаем MovieLLM, новую концепцию, разработанную для создания синтетических высококачественных данных для длинных видеороликов. Эта концепция использует мощь GPT-4 и моделей текста-к-изображению для генерации подробных сценариев и соответствующих визуальных элементов. Наш подход выделяется своей гибкостью и масштабируемостью, что делает его превосходной альтернативой традиционным методам сбора данных. Наши обширные эксперименты подтверждают, что данные, созданные MovieLLM, значительно улучшают производительность мультимодельных моделей в понимании сложных видеорассказов, преодолевая ограничения существующих наборов данных в отношении их ограниченности и предвзятости.

English

The development of multimodal models has marked a significant step forward in how machines understand videos. These models have shown promise in analyzing short video clips. However, when it comes to longer formats like movies, they often fall short. The main hurdles are the lack of high-quality, diverse video data and the intensive work required to collect or annotate such data. In the face of these challenges, we propose MovieLLM, a novel framework designed to create synthetic, high-quality data for long videos. This framework leverages the power of GPT-4 and text-to-image models to generate detailed scripts and corresponding visuals. Our approach stands out for its flexibility and scalability, making it a superior alternative to traditional data collection methods. Our extensive experiments validate that the data produced by MovieLLM significantly improves the performance of multimodal models in understanding complex video narratives, overcoming the limitations of existing datasets regarding scarcity and bias.