ViBiDSampler: Улучшение интерполяции видео с использованием двунаправленного диффузионного сэмплера

ViBiDSampler: Enhancing Video Interpolation Using Bidirectional Diffusion Sampler

October 8, 2024

Авторы: Serin Yang, Taesung Kwon, Jong Chul Ye

cs.AI

Аннотация

Недавние успехи в моделях диффузии текста в видео (T2V) и изображения в видео (I2V) крупного масштаба значительно улучшили генерацию видео, особенно в части интерполяции ключевых кадров. Однако текущие модели диффузии изображения в видео, хотя и мощные в создании видео из одного условного кадра, требуют адаптации для генерации на основе двух кадров (начального и конечного), что необходимо для эффективной ограниченной интерполяции. К сожалению, существующие подходы, объединяющие временно прямые и обратные пути параллельно, часто сталкиваются с проблемами вне многообразия, что приводит к артефактам или требует множественных итерационных шагов повторного добавления шума. В данной работе мы представляем новую, двунаправленную стратегию выборки для решения этих проблем вне многообразия без необходимости обширного повторного добавления шума или настройки. Наш метод использует последовательную выборку вдоль прямого и обратного путей, условие на начальный и конечный кадры соответственно, обеспечивая более согласованную и на многообразии генерацию промежуточных кадров. Кроме того, мы внедряем передовые техники руководства, CFG++ и DDS, для дальнейшего улучшения процесса интерполяции. Интегрируя их, наш метод достигает выдающегося качества, эффективно создавая высококачественные, плавные видео между ключевыми кадрами. На одном GPU 3090 наш метод может интерполировать 25 кадров разрешением 1024 x 576 всего за 195 секунд, утверждая его как ведущее решение для интерполяции ключевых кадров.

English

Recent progress in large-scale text-to-video (T2V) and image-to-video (I2V) diffusion models has greatly enhanced video generation, especially in terms of keyframe interpolation. However, current image-to-video diffusion models, while powerful in generating videos from a single conditioning frame, need adaptation for two-frame (start & end) conditioned generation, which is essential for effective bounded interpolation. Unfortunately, existing approaches that fuse temporally forward and backward paths in parallel often suffer from off-manifold issues, leading to artifacts or requiring multiple iterative re-noising steps. In this work, we introduce a novel, bidirectional sampling strategy to address these off-manifold issues without requiring extensive re-noising or fine-tuning. Our method employs sequential sampling along both forward and backward paths, conditioned on the start and end frames, respectively, ensuring more coherent and on-manifold generation of intermediate frames. Additionally, we incorporate advanced guidance techniques, CFG++ and DDS, to further enhance the interpolation process. By integrating these, our method achieves state-of-the-art performance, efficiently generating high-quality, smooth videos between keyframes. On a single 3090 GPU, our method can interpolate 25 frames at 1024 x 576 resolution in just 195 seconds, establishing it as a leading solution for keyframe interpolation.