Atenção de Trajetória para Controle Fino de Movimento de Vídeo de Alta Granularidade

Trajectory Attention for Fine-grained Video Motion Control

November 28, 2024

Autores: Zeqi Xiao, Wenqi Ouyang, Yifan Zhou, Shuai Yang, Lei Yang, Jianlou Si, Xingang Pan

cs.AI

Resumo

Os avanços recentes na geração de vídeo foram grandemente impulsionados por modelos de difusão de vídeo, com o controle de movimento da câmera emergindo como um desafio crucial na criação de conteúdo visual personalizado. Este artigo apresenta a atenção à trajetória, uma abordagem inovadora que realiza atenção ao longo das trajetórias de pixels disponíveis para um controle fino do movimento da câmera. Ao contrário dos métodos existentes que frequentemente produzem saídas imprecisas ou negligenciam correlações temporais, nossa abordagem possui um viés indutivo mais forte que injeta de forma contínua informações de trajetória no processo de geração de vídeo. Importante ressaltar que nossa abordagem modela a atenção à trajetória como um ramo auxiliar ao lado da atenção temporal tradicional. Esse design permite que a atenção temporal original e a atenção à trajetória trabalhem em sinergia, garantindo tanto o controle preciso do movimento quanto a capacidade de geração de novo conteúdo, o que é crucial quando a trajetória está parcialmente disponível. Experimentos sobre controle de movimento da câmera para imagens e vídeos demonstram melhorias significativas em precisão e consistência em longo alcance, mantendo uma geração de alta qualidade. Além disso, mostramos que nossa abordagem pode ser estendida para outras tarefas de controle de movimento de vídeo, como edição de vídeo guiada pelo primeiro quadro, onde se destaca na manutenção da consistência de conteúdo em grandes extensões espaciais e temporais.

English

Recent advancements in video generation have been greatly driven by video diffusion models, with camera motion control emerging as a crucial challenge in creating view-customized visual content. This paper introduces trajectory attention, a novel approach that performs attention along available pixel trajectories for fine-grained camera motion control. Unlike existing methods that often yield imprecise outputs or neglect temporal correlations, our approach possesses a stronger inductive bias that seamlessly injects trajectory information into the video generation process. Importantly, our approach models trajectory attention as an auxiliary branch alongside traditional temporal attention. This design enables the original temporal attention and the trajectory attention to work in synergy, ensuring both precise motion control and new content generation capability, which is critical when the trajectory is only partially available. Experiments on camera motion control for images and videos demonstrate significant improvements in precision and long-range consistency while maintaining high-quality generation. Furthermore, we show that our approach can be extended to other video motion control tasks, such as first-frame-guided video editing, where it excels in maintaining content consistency over large spatial and temporal ranges.