CineMobile: Geräteinterne Bild-zu-Video-Diffusion zur Erzeugung kinematografischer Kamerabewegungen

Zusammenfassung

Die wachsende Nachfrage nach Bild-zu-Video-Erstellung auf mobilen Geräten konzentriert sich zunehmend auf filmische Bewegungseffekte wie Bullet Time, Dolly Zoom, Zeitlupe usw. Während Diffusionstransformatoren (DiTs) eine starke Leistung bei der Videogenerierung zeigen, führen ihre großen Parameterzahlen und mehrstufigen iterativen Entrauschungsprozesse zu erheblichen Rechenkosten, was eine effiziente Generierung auf mobilen Geräten erschwert. Wir schlagen CineMobile vor, um diese Lücke zu schließen. Insbesondere verfolgt CineMobile eine dreigliedrige Optimierungsstrategie: (1) Nutzung eines destillationsgestützten Pruning-Ansatzes, um ein kompaktes und dennoch effizientes Modell zu erhalten, das die wesentlichen für filmische Effekte erforderlichen Fähigkeiten zur Videogenerierung beibehält; (2) Optimierung des komprimierten Modells zu einem 4-Schritt-Generator durch eine Kombination aus Diffusionsdestillation und verstärkendem Lernen; (3) Einsatz einer hybriden Post-Training-Quantisierungsstrategie, um den Modell-Fußabdruck auf unter 1 GB zu komprimieren. Experimentelle Ergebnisse zeigen, dass CineMobile im Vergleich zum Lehrermodell mit der Wan 2.1-Architektur eine 40-fache Beschleunigung bei der Generierung bei gleichbleibender visueller Qualität erreicht. Konkret generiert CineMobile 49-Frame-480p-Videos mit einer Entrauschungslatenz von 0,6 s pro Schritt auf einer NVIDIA H200 GPU und 20 s auf der MediaTek Dimensity 8400 Ultimate 5G-Plattform, bei einem Spitzenspeicherverbrauch von 1,8 GB, was seine praktische Anwendbarkeit für die mobile Bild-zu-Video-Erstellung demonstriert.

English

The growing demand for image-to-video creation on mobile devices has increasingly focused on cinematic motion effects like bullet time, dolly zoom, slow motion, etc. While Diffusion Transformers (DiTs) exhibit strong performance in video generation, their large parameter sizes and multi-step iterative denoising processes lead to substantial computational overhead, making efficient generation on mobile devices challenging. We propose CineMobile to bridge the gap. In particular, CineMobile adopts a three-fold optimization strategy: (1) leveraging a distillation-guided pruning approach to derive a compact yet efficient model that retains the essential video generation capabilities required for cinematic effects; (2) optimizing the compressed model into a 4-step generator via a combination of diffusion distillation and reinforcement learning; (3) employing a hybrid post-training quantization strategy to compress the model footprint to under 1 GB. Experimental results show that compared to the teacher model with the Wan 2.1 architecture, CineMobile achieves a 40x speedup in generation while maintaining comparable visual quality. Specifically, CineMobile generates 49-frame 480p videos with a per-step denoising latency of 0.6s on an NVIDIA H200 GPU and 20s on the MediaTek Dimensity 8400 Ultimate 5G platform, with a peak memory usage of 1.8 GB, demonstrating its practical applicability for mobile-based image-to-video creation.