ViBiDSampler : Amélioration de l'interpolation vidéo en utilisant un échantillonneur de diffusion bidirectionnelle

ViBiDSampler: Enhancing Video Interpolation Using Bidirectional Diffusion Sampler

October 8, 2024

Auteurs: Serin Yang, Taesung Kwon, Jong Chul Ye

cs.AI

Résumé

Les progrès récents dans les modèles de diffusion de texte-vidéo (T2V) et d'image-vidéo (I2V) à grande échelle ont considérablement amélioré la génération de vidéos, notamment en termes d'interpolation de trames clés. Cependant, les modèles de diffusion d'image-vidéo actuels, bien qu'efficaces pour générer des vidéos à partir d'une seule trame de conditionnement, nécessitent une adaptation pour la génération conditionnée à deux trames (début et fin), essentielle pour une interpolation bornée efficace. Malheureusement, les approches existantes qui fusionnent les chemins temporels avant et arrière en parallèle souffrent souvent de problèmes hors de la variété, entraînant des artefacts ou nécessitant plusieurs étapes itératives de ré-bruitage. Dans ce travail, nous introduisons une nouvelle stratégie d'échantillonnage bidirectionnelle pour résoudre ces problèmes hors de la variété sans nécessiter de ré-bruitage étendu ou de fine-tuning. Notre méthode utilise un échantillonnage séquentiel le long des deux chemins avant et arrière, conditionné par les trames de début et de fin respectivement, garantissant une génération plus cohérente et sur la variété des trames intermédiaires. De plus, nous incorporons des techniques avancées de guidage, CFG++ et DDS, pour améliorer davantage le processus d'interpolation. En intégrant ceux-ci, notre méthode atteint des performances de pointe, générant efficacement des vidéos de haute qualité et fluides entre les trames clés. Sur un seul GPU 3090, notre méthode peut interpoler 25 trames à une résolution de 1024 x 576 en seulement 195 secondes, ce qui en fait une solution de premier plan pour l'interpolation de trames clés.

English

Recent progress in large-scale text-to-video (T2V) and image-to-video (I2V) diffusion models has greatly enhanced video generation, especially in terms of keyframe interpolation. However, current image-to-video diffusion models, while powerful in generating videos from a single conditioning frame, need adaptation for two-frame (start & end) conditioned generation, which is essential for effective bounded interpolation. Unfortunately, existing approaches that fuse temporally forward and backward paths in parallel often suffer from off-manifold issues, leading to artifacts or requiring multiple iterative re-noising steps. In this work, we introduce a novel, bidirectional sampling strategy to address these off-manifold issues without requiring extensive re-noising or fine-tuning. Our method employs sequential sampling along both forward and backward paths, conditioned on the start and end frames, respectively, ensuring more coherent and on-manifold generation of intermediate frames. Additionally, we incorporate advanced guidance techniques, CFG++ and DDS, to further enhance the interpolation process. By integrating these, our method achieves state-of-the-art performance, efficiently generating high-quality, smooth videos between keyframes. On a single 3090 GPU, our method can interpolate 25 frames at 1024 x 576 resolution in just 195 seconds, establishing it as a leading solution for keyframe interpolation.