MagicDriveDiT: Geração de Vídeo Longo de Alta Resolução para Direção Autônoma com Controle Adaptativo

MagicDriveDiT: High-Resolution Long Video Generation for Autonomous Driving with Adaptive Control

November 21, 2024

Autores: Ruiyuan Gao, Kai Chen, Bo Xiao, Lanqing Hong, Zhenguo Li, Qiang Xu

cs.AI

Resumo

O rápido avanço dos modelos de difusão melhorou significativamente a síntese de vídeos, especialmente na geração de vídeos controláveis, essencial para aplicações como direção autônoma. No entanto, os métodos existentes são limitados em escalabilidade e na integração de condições de controle, não conseguindo atender às necessidades de vídeos de alta resolução e longa duração para aplicações de direção autônoma. Neste artigo, apresentamos o MagicDriveDiT, uma abordagem inovadora baseada na arquitetura DiT, que enfrenta esses desafios. Nosso método melhora a escalabilidade por meio da correspondência de fluxo e emprega uma estratégia de treinamento progressivo para lidar com cenários complexos. Ao incorporar codificação condicional espaço-temporal, o MagicDriveDiT alcança controle preciso sobre latentes espaço-temporais. Experimentos abrangentes mostram seu desempenho superior na geração de vídeos realistas de cenas de rua com maior resolução e mais quadros. O MagicDriveDiT melhora significativamente a qualidade de geração de vídeos e os controles espaço-temporais, ampliando suas aplicações potenciais em várias tarefas de direção autônoma.

English

The rapid advancement of diffusion models has greatly improved video synthesis, especially in controllable video generation, which is essential for applications like autonomous driving. However, existing methods are limited by scalability and how control conditions are integrated, failing to meet the needs for high-resolution and long videos for autonomous driving applications. In this paper, we introduce MagicDriveDiT, a novel approach based on the DiT architecture, and tackle these challenges. Our method enhances scalability through flow matching and employs a progressive training strategy to manage complex scenarios. By incorporating spatial-temporal conditional encoding, MagicDriveDiT achieves precise control over spatial-temporal latents. Comprehensive experiments show its superior performance in generating realistic street scene videos with higher resolution and more frames. MagicDriveDiT significantly improves video generation quality and spatial-temporal controls, expanding its potential applications across various tasks in autonomous driving.