MovieLLM: Verbetering van Langdurige Videobegrip met AI-gegenereerde Films
MovieLLM: Enhancing Long Video Understanding with AI-Generated Movies
March 3, 2024
Auteurs: Zhende Song, Chenchen Wang, Jiamu Sheng, Chi Zhang, Gang Yu, Jiayuan Fan, Tao Chen
cs.AI
Samenvatting
De ontwikkeling van multimodale modellen heeft een belangrijke stap voorwaarts betekend in hoe machines video's begrijpen. Deze modellen hebben belofte getoond bij het analyseren van korte videoclips. Wanneer het echter gaat om langere formaten zoals films, schieten ze vaak tekort. De belangrijkste obstakels zijn het gebrek aan hoogwaardige, diverse videogegevens en de intensieve arbeid die nodig is om dergelijke gegevens te verzamelen of te annoteren. In het licht van deze uitdagingen stellen we MovieLLM voor, een nieuw raamwerk ontworpen om synthetische, hoogwaardige gegevens voor lange video's te creëren. Dit raamwerk benut de kracht van GPT-4 en tekst-naar-beeldmodellen om gedetailleerde scripts en bijbehorende visuals te genereren. Onze aanpak onderscheidt zich door zijn flexibiliteit en schaalbaarheid, waardoor het een superieur alternatief is voor traditionele methoden van gegevensverzameling. Onze uitgebreide experimenten valideren dat de gegevens die door MovieLLM worden geproduceerd, de prestaties van multimodale modellen bij het begrijpen van complexe videoverhalen aanzienlijk verbeteren, waardoor de beperkingen van bestaande datasets met betrekking tot schaarste en bias worden overwonnen.
English
The development of multimodal models has marked a significant step forward in
how machines understand videos. These models have shown promise in analyzing
short video clips. However, when it comes to longer formats like movies, they
often fall short. The main hurdles are the lack of high-quality, diverse video
data and the intensive work required to collect or annotate such data. In the
face of these challenges, we propose MovieLLM, a novel framework designed to
create synthetic, high-quality data for long videos. This framework leverages
the power of GPT-4 and text-to-image models to generate detailed scripts and
corresponding visuals. Our approach stands out for its flexibility and
scalability, making it a superior alternative to traditional data collection
methods. Our extensive experiments validate that the data produced by MovieLLM
significantly improves the performance of multimodal models in understanding
complex video narratives, overcoming the limitations of existing datasets
regarding scarcity and bias.