Track4Gen: Обучение моделей диффузии видео для отслеживания точек улучшает генерацию видео.

Track4Gen: Teaching Video Diffusion Models to Track Points Improves Video Generation

December 8, 2024

Авторы: Hyeonho Jeong, Chun-Hao Paul Huang, Jong Chul Ye, Niloy Mitra, Duygu Ceylan

cs.AI

Аннотация

В то время как недавние основные видеогенераторы создают визуально насыщенный вывод, они все еще борются с дрейфом внешнего вида, когда объекты постепенно деградируют или изменяются несогласованно между кадрами, нарушая визуальную целостность. Мы предполагаем, что это происходит потому, что отсутствует явное руководство в терминах пространственного отслеживания на уровне признаков. Мы предлагаем Track4Gen, видеогенератор, осведомленный о пространстве, который объединяет потерю видеодиффузии с отслеживанием точек между кадрами, обеспечивая улучшенное пространственное руководство по признакам диффузии. Track4Gen объединяет задачи генерации видео и отслеживания точек в единую сеть, внесая минимальные изменения в существующие архитектуры генерации видео. Используя Stable Video Diffusion в качестве основы, Track4Gen демонстрирует, что возможно объединить генерацию видео и отслеживание точек, которые обычно рассматриваются как отдельные задачи. Наши обширные оценки показывают, что Track4Gen эффективно снижает дрейф внешнего вида, что приводит к временно стабильной и визуально согласованной генерации видео. Страница проекта: hyeonho99.github.io/track4gen

English

While recent foundational video generators produce visually rich output, they still struggle with appearance drift, where objects gradually degrade or change inconsistently across frames, breaking visual coherence. We hypothesize that this is because there is no explicit supervision in terms of spatial tracking at the feature level. We propose Track4Gen, a spatially aware video generator that combines video diffusion loss with point tracking across frames, providing enhanced spatial supervision on the diffusion features. Track4Gen merges the video generation and point tracking tasks into a single network by making minimal changes to existing video generation architectures. Using Stable Video Diffusion as a backbone, Track4Gen demonstrates that it is possible to unify video generation and point tracking, which are typically handled as separate tasks. Our extensive evaluations show that Track4Gen effectively reduces appearance drift, resulting in temporally stable and visually coherent video generation. Project page: hyeonho99.github.io/track4gen