Tora: Траекторно-ориентированный Диффузионный Трансформер для Генерации Видео

Tora: Trajectory-oriented Diffusion Transformer for Video Generation

July 31, 2024

Авторы: Zhenghao Zhang, Junchao Liao, Menghao Li, Long Qin, Weizhi Wang

cs.AI

Аннотация

Недавние достижения в области Диффузионного Трансформера (DiT) продемонстрировали выдающуюся профессиональную компетентность в создании видеоконтента высокого качества. Тем не менее, потенциал моделей диффузии на основе трансформеров для эффективной генерации видео с управляемым движением остается малоисследованным направлением. В данной статье представлен Tora, первая траекторно-ориентированная структура DiT, которая одновременно интегрирует текстовые, визуальные и траекторные условия для генерации видео. Конкретно, Tora состоит из Экстрактора Траекторий (TE), Пространственно-Временного DiT и Модуля Управления Движением (MGF). TE кодирует произвольные траектории в иерархические пространственно-временные патчи движения с помощью сети 3D видеокомпрессии. MGF интегрирует патчи движения в блоки DiT для генерации последовательных видео, следующих за траекториями. Наш дизайн гармонично сочетается с масштабируемостью DiT, обеспечивая точное управление динамикой видеоконтента с различной продолжительностью, соотношением сторон и разрешением. Обширные эксперименты демонстрируют превосходство Tora в достижении высокой точности движения, а также тщательное моделирование движения физического мира. Страницу можно найти по адресу https://ali-videoai.github.io/tora_video.

English

Recent advancements in Diffusion Transformer (DiT) have demonstrated remarkable proficiency in producing high-quality video content. Nonetheless, the potential of transformer-based diffusion models for effectively generating videos with controllable motion remains an area of limited exploration. This paper introduces Tora, the first trajectory-oriented DiT framework that integrates textual, visual, and trajectory conditions concurrently for video generation. Specifically, Tora consists of a Trajectory Extractor~(TE), a Spatial-Temporal DiT, and a Motion-guidance Fuser~(MGF). The TE encodes arbitrary trajectories into hierarchical spacetime motion patches with a 3D video compression network. The MGF integrates the motion patches into the DiT blocks to generate consistent videos following trajectories. Our design aligns seamlessly with DiT's scalability, allowing precise control of video content's dynamics with diverse durations, aspect ratios, and resolutions. Extensive experiments demonstrate Tora's excellence in achieving high motion fidelity, while also meticulously simulating the movement of the physical world. Page can be found at https://ali-videoai.github.io/tora_video.