CamViG: Geração de Vídeo a partir de Imagem com Consciência de Câmera usando Transformers Multimodais
CamViG: Camera Aware Image-to-Video Generation with Multimodal Transformers
May 21, 2024
Autores: Andrew Marmon, Grant Schindler, José Lezama, Dan Kondratyuk, Bryan Seybold, Irfan Essa
cs.AI
Resumo
Estendemos os transformadores multimodais para incluir o movimento de câmera 3D como um sinal de condicionamento para a tarefa de geração de vídeo. Os modelos generativos de vídeo estão se tornando cada vez mais poderosos, direcionando os esforços de pesquisa para métodos de controle da saída desses modelos. Propomos adicionar controles virtuais de câmera 3D a métodos generativos de vídeo, condicionando o vídeo gerado a uma codificação do movimento tridimensional da câmera ao longo do vídeo gerado. Os resultados demonstram que (1) somos capazes de controlar com sucesso a câmera durante a geração de vídeo, partindo de um único quadro e de um sinal de câmera, e (2) demonstramos a precisão das trajetórias de câmera 3D geradas utilizando métodos tradicionais de visão computacional.
English
We extend multimodal transformers to include 3D camera motion as a
conditioning signal for the task of video generation. Generative video models
are becoming increasingly powerful, thus focusing research efforts on methods
of controlling the output of such models. We propose to add virtual 3D camera
controls to generative video methods by conditioning generated video on an
encoding of three-dimensional camera movement over the course of the generated
video. Results demonstrate that we are (1) able to successfully control the
camera during video generation, starting from a single frame and a camera
signal, and (2) we demonstrate the accuracy of the generated 3D camera paths
using traditional computer vision methods.