I2V-Adapter: Ein universeller Bild-zu-Video-Adapter für Video-Diffusionsmodelle

I2V-Adapter: A General Image-to-Video Adapter for Video Diffusion Models

December 27, 2023

Autoren: Xun Guo, Mingwu Zheng, Liang Hou, Yuan Gao, Yufan Deng, Chongyang Ma, Weiming Hu, Zhengjun Zha, Haibin Huang, Pengfei Wan, Di Zhang

cs.AI

Zusammenfassung

Im sich rasant entwickelnden Bereich der digitalen Inhaltsgenerierung hat sich der Fokus von Text-zu-Bild (T2I)-Modellen hin zu fortschrittlicheren Video-Diffusionsmodellen verlagert, insbesondere Text-zu-Video (T2V) und Bild-zu-Video (I2V). Diese Arbeit befasst sich mit der komplexen Herausforderung, die I2V stellt: die Umwandlung statischer Bilder in dynamische, lebensechte Videosequenzen bei gleichzeitiger Bewahrung der ursprünglichen Bildtreue. Traditionelle Methoden beinhalten typischerweise die Integration ganzer Bilder in Diffusionsprozesse oder die Verwendung vortrainierter Encoder für Cross-Attention. Diese Ansätze erfordern jedoch oft eine Veränderung der grundlegenden Gewichte von T2I-Modellen, was deren Wiederverwendbarkeit einschränkt. Wir stellen eine neuartige Lösung vor, den sogenannten I2V-Adapter, der entwickelt wurde, um solche Einschränkungen zu überwinden. Unser Ansatz bewahrt die strukturelle Integrität von T2I-Modellen und deren inhärente Bewegungsmodule. Der I2V-Adapter verarbeitet verrauschte Videobilder parallel zum Eingabebild und nutzt dabei ein leichtgewichtiges Adaptermodul. Dieses Modul fungiert als Brücke, die effizient die Eingabe mit dem Selbst-Attention-Mechanismus des Modells verbindet und so räumliche Details bewahrt, ohne strukturelle Änderungen am T2I-Modell vornehmen zu müssen. Darüber hinaus benötigt der I2V-Adapter nur einen Bruchteil der Parameter herkömmlicher Modelle und gewährleistet Kompatibilität mit bestehenden, community-gesteuerten T2I-Modellen und Steuerungstools. Unsere experimentellen Ergebnisse demonstrieren die Fähigkeit des I2V-Adapters, hochwertige Videoausgaben zu erzeugen. Diese Leistung, gepaart mit seiner Vielseitigkeit und dem reduzierten Bedarf an trainierbaren Parametern, stellt einen bedeutenden Fortschritt im Bereich der KI-gestützten Videogenerierung dar, insbesondere für kreative Anwendungen.

English

In the rapidly evolving domain of digital content generation, the focus has shifted from text-to-image (T2I) models to more advanced video diffusion models, notably text-to-video (T2V) and image-to-video (I2V). This paper addresses the intricate challenge posed by I2V: converting static images into dynamic, lifelike video sequences while preserving the original image fidelity. Traditional methods typically involve integrating entire images into diffusion processes or using pretrained encoders for cross attention. However, these approaches often necessitate altering the fundamental weights of T2I models, thereby restricting their reusability. We introduce a novel solution, namely I2V-Adapter, designed to overcome such limitations. Our approach preserves the structural integrity of T2I models and their inherent motion modules. The I2V-Adapter operates by processing noised video frames in parallel with the input image, utilizing a lightweight adapter module. This module acts as a bridge, efficiently linking the input to the model's self-attention mechanism, thus maintaining spatial details without requiring structural changes to the T2I model. Moreover, I2V-Adapter requires only a fraction of the parameters of conventional models and ensures compatibility with existing community-driven T2I models and controlling tools. Our experimental results demonstrate I2V-Adapter's capability to produce high-quality video outputs. This performance, coupled with its versatility and reduced need for trainable parameters, represents a substantial advancement in the field of AI-driven video generation, particularly for creative applications.