Tora: Trajektorieorientierter Diffusions-Transformer für die Videogenerierung

Tora: Trajectory-oriented Diffusion Transformer for Video Generation

July 31, 2024

Autoren: Zhenghao Zhang, Junchao Liao, Menghao Li, Long Qin, Weizhi Wang

cs.AI

Zusammenfassung

In jüngster Zeit haben Fortschritte im Bereich des Diffusion Transformers (DiT) eine bemerkenswerte Leistungsfähigkeit bei der Erzeugung hochwertiger Videoinhalte gezeigt. Dennoch bleibt das Potenzial transformerbasierter Diffusionsmodelle zur effektiven Generierung von Videos mit steuerbarer Bewegung ein Bereich von begrenzter Erkundung. Dieses Papier stellt Tora vor, das erste auf Trajektorien ausgerichtete DiT-Framework, das textuelle, visuelle und Trajektoriebedingungen gleichzeitig für die Videogenerierung integriert. Konkret besteht Tora aus einem Trajektorie-Extraktor (TE), einem räumlich-zeitlichen DiT und einem Bewegungssteuerungs-Fuser (MGF). Der TE kodiert beliebige Trajektorien in hierarchische Raum-Zeit-Bewegungspatches mit einem 3D-Videokompressionsnetzwerk. Der MGF integriert die Bewegungspatches in die DiT-Blöcke, um konsistente Videos gemäß den Trajektorien zu generieren. Unser Entwurf passt nahtlos zur Skalierbarkeit von DiT und ermöglicht eine präzise Steuerung der Dynamik von Videoinhalten mit unterschiedlichen Dauern, Seitenverhältnissen und Auflösungen. Umfangreiche Experimente zeigen Toras Exzellenz bei der Erzielung hoher Bewegungsqualität, während gleichzeitig die Bewegung der physischen Welt akribisch simuliert wird. Die Seite ist unter https://ali-videoai.github.io/tora_video zu finden.

English

Recent advancements in Diffusion Transformer (DiT) have demonstrated remarkable proficiency in producing high-quality video content. Nonetheless, the potential of transformer-based diffusion models for effectively generating videos with controllable motion remains an area of limited exploration. This paper introduces Tora, the first trajectory-oriented DiT framework that integrates textual, visual, and trajectory conditions concurrently for video generation. Specifically, Tora consists of a Trajectory Extractor~(TE), a Spatial-Temporal DiT, and a Motion-guidance Fuser~(MGF). The TE encodes arbitrary trajectories into hierarchical spacetime motion patches with a 3D video compression network. The MGF integrates the motion patches into the DiT blocks to generate consistent videos following trajectories. Our design aligns seamlessly with DiT's scalability, allowing precise control of video content's dynamics with diverse durations, aspect ratios, and resolutions. Extensive experiments demonstrate Tora's excellence in achieving high motion fidelity, while also meticulously simulating the movement of the physical world. Page can be found at https://ali-videoai.github.io/tora_video.