Track4Gen: Het aanleren van video diffusiemodellen om punten te volgen verbetert videogeneratie.

Track4Gen: Teaching Video Diffusion Models to Track Points Improves Video Generation

December 8, 2024

Auteurs: Hyeonho Jeong, Chun-Hao Paul Huang, Jong Chul Ye, Niloy Mitra, Duygu Ceylan

cs.AI

Samenvatting

Hoewel recente fundamentele videogeneratoren visueel rijke output produceren, hebben ze nog steeds moeite met verschijningsvervaging, waar objecten geleidelijk degraderen of inconsistent veranderen over frames, waardoor visuele coherentie verloren gaat. We veronderstellen dat dit komt doordat er geen expliciete supervisie is wat betreft ruimtelijke tracking op het kenmerkniveau. We stellen Track4Gen voor, een ruimtelijk bewuste videogenerator die videodiffusieverlies combineert met punttracking over frames, waardoor verbeterde ruimtelijke supervisie op de diffusiekenmerken wordt geboden. Track4Gen combineert de videogeneratie- en punttrackingtaken in een enkel netwerk door minimale wijzigingen aan te brengen in bestaande videogeneratiearchitecturen. Met behulp van Stable Video Diffusion als basis toont Track4Gen aan dat het mogelijk is om videogeneratie en punttracking te verenigen, die doorgaans als afzonderlijke taken worden behandeld. Onze uitgebreide evaluaties tonen aan dat Track4Gen effectief verschijningsvervaging vermindert, resulterend in temporeel stabiele en visueel coherente videogeneratie. Projectpagina: hyeonho99.github.io/track4gen

English

While recent foundational video generators produce visually rich output, they still struggle with appearance drift, where objects gradually degrade or change inconsistently across frames, breaking visual coherence. We hypothesize that this is because there is no explicit supervision in terms of spatial tracking at the feature level. We propose Track4Gen, a spatially aware video generator that combines video diffusion loss with point tracking across frames, providing enhanced spatial supervision on the diffusion features. Track4Gen merges the video generation and point tracking tasks into a single network by making minimal changes to existing video generation architectures. Using Stable Video Diffusion as a backbone, Track4Gen demonstrates that it is possible to unify video generation and point tracking, which are typically handled as separate tasks. Our extensive evaluations show that Track4Gen effectively reduces appearance drift, resulting in temporally stable and visually coherent video generation. Project page: hyeonho99.github.io/track4gen