MovieLLM: AI生成映画による長尺動画理解の強化

要旨

マルチモーダルモデルの発展は、機械がビデオを理解する方法において重要な一歩を記しました。これらのモデルは、短いビデオクリップの分析において有望な成果を示しています。しかし、映画のような長尺フォーマットになると、しばしばその性能が不十分です。主な障壁は、高品質で多様なビデオデータの不足と、そのようなデータを収集または注釈するために必要な多大な労力です。これらの課題に直面して、我々はMovieLLMという新しいフレームワークを提案します。このフレームワークは、長尺ビデオ向けの合成された高品質なデータを作成するために設計されています。GPT-4とテキストから画像を生成するモデルの力を活用して、詳細なスクリプトと対応するビジュアルを生成します。我々のアプローチは、その柔軟性と拡張性において際立っており、従来のデータ収集方法に比べて優れた代替手段となります。我々の広範な実験により、MovieLLMによって生成されたデータが、複雑なビデオナラティブを理解するマルチモーダルモデルの性能を大幅に向上させ、既存のデータセットの不足やバイアスに関する限界を克服することが検証されました。

English

The development of multimodal models has marked a significant step forward in how machines understand videos. These models have shown promise in analyzing short video clips. However, when it comes to longer formats like movies, they often fall short. The main hurdles are the lack of high-quality, diverse video data and the intensive work required to collect or annotate such data. In the face of these challenges, we propose MovieLLM, a novel framework designed to create synthetic, high-quality data for long videos. This framework leverages the power of GPT-4 and text-to-image models to generate detailed scripts and corresponding visuals. Our approach stands out for its flexibility and scalability, making it a superior alternative to traditional data collection methods. Our extensive experiments validate that the data produced by MovieLLM significantly improves the performance of multimodal models in understanding complex video narratives, overcoming the limitations of existing datasets regarding scarcity and bias.

MovieLLM: AI生成映画による長尺動画理解の強化

MovieLLM: Enhancing Long Video Understanding with AI-Generated Movies

要旨

Support