Tora: Transformador de Difusão Orientado por Trajetória para Geração de Vídeo

Tora: Trajectory-oriented Diffusion Transformer for Video Generation

July 31, 2024

Autores: Zhenghao Zhang, Junchao Liao, Menghao Li, Long Qin, Weizhi Wang

cs.AI

Resumo

Avanços recentes no Transformer de Difusão (DiT) têm demonstrado uma notável eficiência na produção de conteúdo de vídeo de alta qualidade. No entanto, o potencial dos modelos de difusão baseados em transformers para gerar vídeos com movimento controlável ainda é uma área pouco explorada. Este artigo apresenta o Tora, o primeiro framework DiT orientado por trajetória que integra condições textuais, visuais e de trajetória simultaneamente para geração de vídeo. Especificamente, o Tora é composto por um Extrator de Trajetória (TE), um DiT Espaço-Temporal e um Fusor de Orientação de Movimento (MGF). O TE codifica trajetórias arbitrárias em patches de movimento espaço-temporais hierárquicos com uma rede de compressão de vídeo 3D. O MGF integra os patches de movimento nos blocos DiT para gerar vídeos consistentes seguindo trajetórias. Nosso design se alinha perfeitamente com a escalabilidade do DiT, permitindo o controle preciso da dinâmica do conteúdo de vídeo com diversas durações, proporções de aspecto e resoluções. Experimentos extensivos demonstram a excelência do Tora em alcançar alta fidelidade de movimento, enquanto também simula meticulosamente o movimento do mundo físico. A página pode ser encontrada em https://ali-videoai.github.io/tora_video.

English

Recent advancements in Diffusion Transformer (DiT) have demonstrated remarkable proficiency in producing high-quality video content. Nonetheless, the potential of transformer-based diffusion models for effectively generating videos with controllable motion remains an area of limited exploration. This paper introduces Tora, the first trajectory-oriented DiT framework that integrates textual, visual, and trajectory conditions concurrently for video generation. Specifically, Tora consists of a Trajectory Extractor~(TE), a Spatial-Temporal DiT, and a Motion-guidance Fuser~(MGF). The TE encodes arbitrary trajectories into hierarchical spacetime motion patches with a 3D video compression network. The MGF integrates the motion patches into the DiT blocks to generate consistent videos following trajectories. Our design aligns seamlessly with DiT's scalability, allowing precise control of video content's dynamics with diverse durations, aspect ratios, and resolutions. Extensive experiments demonstrate Tora's excellence in achieving high motion fidelity, while also meticulously simulating the movement of the physical world. Page can be found at https://ali-videoai.github.io/tora_video.