ReCapture: Генеративные элементы управления видеокамерой для пользовательских видео с использованием маскированного тонкого настройки видео
ReCapture: Generative Video Camera Controls for User-Provided Videos using Masked Video Fine-Tuning
November 7, 2024
Авторы: David Junhao Zhang, Roni Paiss, Shiran Zada, Nikhil Karnad, David E. Jacobs, Yael Pritch, Inbar Mosseri, Mike Zheng Shou, Neal Wadhwa, Nataniel Ruiz
cs.AI
Аннотация
В последнее время прорывы в области моделирования видео позволили создавать управляемые траектории камеры в генерируемых видеороликах. Однако эти методы не могут быть напрямую применены к видео, предоставленным пользователями, которые не были созданы с помощью видео-моделей. В данной статье мы представляем метод ReCapture, который позволяет генерировать новые видеоролики с новыми траекториями камеры на основе одного пользовательского видео. Наш метод позволяет воссоздавать исходное видео, включая все существующие движения сцены, под совершенно разными углами и с кинематографическим движением камеры. Важно отметить, что с использованием нашего метода можно также правдоподобно воссоздать части сцены, которые не были видны в исходном видео. Наш метод работает следующим образом: (1) создается зашумленное опорное видео с новой траекторией камеры с использованием многовидовых диффузионных моделей или рендеринга облака точек на основе глубины, а затем (2) опорное видео преобразуется в чистое и временно согласованное видео с новым углом съемки с использованием предложенной нами техники маскированного тонкого настройки видео.
English
Recently, breakthroughs in video modeling have allowed for controllable
camera trajectories in generated videos. However, these methods cannot be
directly applied to user-provided videos that are not generated by a video
model. In this paper, we present ReCapture, a method for generating new videos
with novel camera trajectories from a single user-provided video. Our method
allows us to re-generate the reference video, with all its existing scene
motion, from vastly different angles and with cinematic camera motion. Notably,
using our method we can also plausibly hallucinate parts of the scene that were
not observable in the reference video. Our method works by (1) generating a
noisy anchor video with a new camera trajectory using multiview diffusion
models or depth-based point cloud rendering and then (2) regenerating the
anchor video into a clean and temporally consistent reangled video using our
proposed masked video fine-tuning technique.