ChatPaper.aiChatPaper

MovieLLM: Verbesserung des Verständnisses langer Videos durch KI-generierte Filme

MovieLLM: Enhancing Long Video Understanding with AI-Generated Movies

March 3, 2024
Autoren: Zhende Song, Chenchen Wang, Jiamu Sheng, Chi Zhang, Gang Yu, Jiayuan Fan, Tao Chen
cs.AI

Zusammenfassung

Die Entwicklung multimodaler Modelle hat einen bedeutenden Fortschritt in der Art und Weise markiert, wie Maschinen Videos verstehen. Diese Modelle haben vielversprechende Ergebnisse bei der Analyse kurzer Videoclips gezeigt. Bei längeren Formaten wie Filmen stoßen sie jedoch oft an ihre Grenzen. Die Hauptherausforderungen sind der Mangel an hochwertigen, diversen Videodaten und der hohe Aufwand, der für die Sammlung oder Annotation solcher Daten erforderlich ist. Angesichts dieser Herausforderungen schlagen wir MovieLLM vor, ein neuartiges Framework, das darauf abzielt, synthetische, hochwertige Daten für lange Videos zu generieren. Dieses Framework nutzt die Leistungsfähigkeit von GPT-4 und Text-zu-Bild-Modellen, um detaillierte Skripte und entsprechende visuelle Inhalte zu erzeugen. Unser Ansatz zeichnet sich durch seine Flexibilität und Skalierbarkeit aus und stellt somit eine überlegene Alternative zu traditionellen Methoden der Datensammlung dar. Unsere umfangreichen Experimente bestätigen, dass die von MovieLLM erzeugten Daten die Leistung multimodaler Modelle beim Verstehen komplexer Videonarrative erheblich verbessern und die Einschränkungen bestehender Datensätze in Bezug auf Knappheit und Verzerrung überwinden.
English
The development of multimodal models has marked a significant step forward in how machines understand videos. These models have shown promise in analyzing short video clips. However, when it comes to longer formats like movies, they often fall short. The main hurdles are the lack of high-quality, diverse video data and the intensive work required to collect or annotate such data. In the face of these challenges, we propose MovieLLM, a novel framework designed to create synthetic, high-quality data for long videos. This framework leverages the power of GPT-4 and text-to-image models to generate detailed scripts and corresponding visuals. Our approach stands out for its flexibility and scalability, making it a superior alternative to traditional data collection methods. Our extensive experiments validate that the data produced by MovieLLM significantly improves the performance of multimodal models in understanding complex video narratives, overcoming the limitations of existing datasets regarding scarcity and bias.
PDF306December 15, 2024