ReCapture: Controles de Câmera de Vídeo Generativos para Vídeos Fornecidos pelo Usuário usando Ajuste Fino de Vídeo Mascarado

ReCapture: Generative Video Camera Controls for User-Provided Videos using Masked Video Fine-Tuning

November 7, 2024

Autores: David Junhao Zhang, Roni Paiss, Shiran Zada, Nikhil Karnad, David E. Jacobs, Yael Pritch, Inbar Mosseri, Mike Zheng Shou, Neal Wadhwa, Nataniel Ruiz

cs.AI

Resumo

Recentemente, avanços na modelagem de vídeo permitiram trajetórias de câmera controláveis em vídeos gerados. No entanto, esses métodos não podem ser aplicados diretamente a vídeos fornecidos pelo usuário que não foram gerados por um modelo de vídeo. Neste artigo, apresentamos o ReCapture, um método para gerar novos vídeos com trajetórias de câmera inéditas a partir de um único vídeo fornecido pelo usuário. Nosso método nos permite regenerar o vídeo de referência, com todo o seu movimento de cena existente, a partir de ângulos radicalmente diferentes e com movimento de câmera cinematográfico. Notavelmente, usando nosso método também podemos plausivelmente alucinar partes da cena que não eram observáveis no vídeo de referência. Nosso método funciona (1) gerando um vídeo âncora ruidoso com uma nova trajetória de câmera usando modelos de difusão multiview ou renderização de nuvem de pontos baseada em profundidade e, em seguida, (2) regenerando o vídeo âncora em um vídeo reangulado limpo e temporalmente consistente usando nossa técnica proposta de ajuste fino de vídeo mascarado.

English

Recently, breakthroughs in video modeling have allowed for controllable camera trajectories in generated videos. However, these methods cannot be directly applied to user-provided videos that are not generated by a video model. In this paper, we present ReCapture, a method for generating new videos with novel camera trajectories from a single user-provided video. Our method allows us to re-generate the reference video, with all its existing scene motion, from vastly different angles and with cinematic camera motion. Notably, using our method we can also plausibly hallucinate parts of the scene that were not observable in the reference video. Our method works by (1) generating a noisy anchor video with a new camera trajectory using multiview diffusion models or depth-based point cloud rendering and then (2) regenerating the anchor video into a clean and temporally consistent reangled video using our proposed masked video fine-tuning technique.