Tora : Transformateur de Diffusion Orienté Trajectoire pour la Génération de Vidéos

Tora: Trajectory-oriented Diffusion Transformer for Video Generation

July 31, 2024

Auteurs: Zhenghao Zhang, Junchao Liao, Menghao Li, Long Qin, Weizhi Wang

cs.AI

Résumé

Les récents progrès dans le domaine des Transformers de Diffusion (DiT) ont démontré une remarquable aptitude à produire des contenus vidéo de haute qualité. Cependant, le potentiel des modèles de diffusion basés sur les transformers pour générer efficacement des vidéos avec un mouvement contrôlable reste un domaine peu exploré. Cet article présente Tora, le premier cadre DiT orienté trajectoire qui intègre simultanément des conditions textuelles, visuelles et de trajectoire pour la génération de vidéos. Plus précisément, Tora se compose d'un Extracteur de Trajectoire (TE), d'un DiT Spatio-Temporel, et d'un Fuseur de Guidage de Mouvement (MGF). Le TE encode des trajectoires arbitraires en patches de mouvement spatio-temporels hiérarchiques à l'aide d'un réseau de compression vidéo 3D. Le MGF intègre ces patches de mouvement dans les blocs DiT pour générer des vidéos cohérentes suivant les trajectoires. Notre conception s'aligne parfaitement avec l'évolutivité des DiT, permettant un contrôle précis de la dynamique du contenu vidéo avec des durées, des ratios d'aspect et des résolutions variés. Des expériences approfondies démontrent l'excellence de Tora dans l'atteinte d'une fidélité de mouvement élevée, tout en simulant méticuleusement le mouvement du monde physique. La page peut être consultée à l'adresse https://ali-videoai.github.io/tora_video.

English

Recent advancements in Diffusion Transformer (DiT) have demonstrated remarkable proficiency in producing high-quality video content. Nonetheless, the potential of transformer-based diffusion models for effectively generating videos with controllable motion remains an area of limited exploration. This paper introduces Tora, the first trajectory-oriented DiT framework that integrates textual, visual, and trajectory conditions concurrently for video generation. Specifically, Tora consists of a Trajectory Extractor~(TE), a Spatial-Temporal DiT, and a Motion-guidance Fuser~(MGF). The TE encodes arbitrary trajectories into hierarchical spacetime motion patches with a 3D video compression network. The MGF integrates the motion patches into the DiT blocks to generate consistent videos following trajectories. Our design aligns seamlessly with DiT's scalability, allowing precise control of video content's dynamics with diverse durations, aspect ratios, and resolutions. Extensive experiments demonstrate Tora's excellence in achieving high motion fidelity, while also meticulously simulating the movement of the physical world. Page can be found at https://ali-videoai.github.io/tora_video.