FreeInit: Преодоление разрыва в инициализации для моделей диффузии видео

FreeInit: Bridging Initialization Gap in Video Diffusion Models

December 12, 2023

Авторы: Tianxing Wu, Chenyang Si, Yuming Jiang, Ziqi Huang, Ziwei Liu

cs.AI

Аннотация

Хотя генерация видео на основе диффузионных моделей демонстрирует быстрый прогресс, результаты вывода существующих моделей всё ещё страдают от недостаточной временной согласованности и неестественной динамики. В данной статье мы глубоко исследуем инициализацию шума в видео диффузионных моделях и обнаруживаем скрытый разрыв между обучением и выводом, который объясняет неудовлетворительное качество генерации. Наши ключевые выводы заключаются в следующем: 1) пространственно-временное частотное распределение начального латентного состояния при выводе существенно отличается от такового при обучении, и 2) процесс удаления шума значительно зависит от низкочастотных компонент начального шума. Вдохновлённые этими наблюдениями, мы предлагаем простую, но эффективную стратегию сэмплинга для вывода — FreeInit, которая значительно улучшает временную согласованность видео, генерируемых диффузионными моделями. Путём итеративного уточнения низкочастотных пространственно-временных компонент начального латентного состояния во время вывода, FreeInit способна компенсировать разрыв в инициализации между обучением и выводом, тем самым эффективно улучшая внешний вид объектов и временную согласованность результатов генерации. Многочисленные эксперименты показывают, что FreeInit стабильно улучшает результаты генерации различных моделей текстового преобразования в видео без необходимости дополнительного обучения.

English

Though diffusion-based video generation has witnessed rapid progress, the inference results of existing models still exhibit unsatisfactory temporal consistency and unnatural dynamics. In this paper, we delve deep into the noise initialization of video diffusion models, and discover an implicit training-inference gap that attributes to the unsatisfactory inference quality. Our key findings are: 1) the spatial-temporal frequency distribution of the initial latent at inference is intrinsically different from that for training, and 2) the denoising process is significantly influenced by the low-frequency components of the initial noise. Motivated by these observations, we propose a concise yet effective inference sampling strategy, FreeInit, which significantly improves temporal consistency of videos generated by diffusion models. Through iteratively refining the spatial-temporal low-frequency components of the initial latent during inference, FreeInit is able to compensate the initialization gap between training and inference, thus effectively improving the subject appearance and temporal consistency of generation results. Extensive experiments demonstrate that FreeInit consistently enhances the generation results of various text-to-video generation models without additional training.