MovieLLM: Migliorare la comprensione di video lunghi con film generati dall'IA
MovieLLM: Enhancing Long Video Understanding with AI-Generated Movies
March 3, 2024
Autori: Zhende Song, Chenchen Wang, Jiamu Sheng, Chi Zhang, Gang Yu, Jiayuan Fan, Tao Chen
cs.AI
Abstract
Lo sviluppo di modelli multimodali ha rappresentato un passo significativo in avanti nella comprensione dei video da parte delle macchine. Questi modelli hanno dimostrato potenziale nell'analisi di brevi clip video. Tuttavia, quando si tratta di formati più lunghi come i film, spesso non riescono a fornire risultati soddisfacenti. Gli ostacoli principali sono la mancanza di dati video di alta qualità e diversificati, nonché il lavoro intensivo richiesto per raccogliere o annotare tali dati. Di fronte a queste sfide, proponiamo MovieLLM, un nuovo framework progettato per creare dati sintetici di alta qualità per video lunghi. Questo framework sfrutta la potenza di GPT-4 e di modelli text-to-image per generare script dettagliati e immagini corrispondenti. Il nostro approccio si distingue per la sua flessibilità e scalabilità, rendendolo un'alternativa superiore ai tradizionali metodi di raccolta dati. I nostri esperimenti estensivi convalidano che i dati prodotti da MovieLLM migliorano significativamente le prestazioni dei modelli multimodali nella comprensione di narrazioni video complesse, superando le limitazioni dei dataset esistenti riguardo alla scarsità e al bias.
English
The development of multimodal models has marked a significant step forward in
how machines understand videos. These models have shown promise in analyzing
short video clips. However, when it comes to longer formats like movies, they
often fall short. The main hurdles are the lack of high-quality, diverse video
data and the intensive work required to collect or annotate such data. In the
face of these challenges, we propose MovieLLM, a novel framework designed to
create synthetic, high-quality data for long videos. This framework leverages
the power of GPT-4 and text-to-image models to generate detailed scripts and
corresponding visuals. Our approach stands out for its flexibility and
scalability, making it a superior alternative to traditional data collection
methods. Our extensive experiments validate that the data produced by MovieLLM
significantly improves the performance of multimodal models in understanding
complex video narratives, overcoming the limitations of existing datasets
regarding scarcity and bias.