DepthCrafter: Генерация последовательностей глубины большой длины для видеороликов в открытом мире

DepthCrafter: Generating Consistent Long Depth Sequences for Open-world Videos

September 3, 2024

Авторы: Wenbo Hu, Xiangjun Gao, Xiaoyu Li, Sijie Zhao, Xiaodong Cun, Yong Zhang, Long Quan, Ying Shan

cs.AI

Аннотация

Несмотря на значительные достижения в оценке глубины по монокулярным изображениям, оценка глубины видео в открытом мире остается сложной, поскольку видео в открытом мире чрезвычайно разнообразны по содержанию, движению, движению камеры и длительности. Мы представляем DepthCrafter, инновационный метод генерации временно согласованных длинных последовательностей глубины с тонкими деталями для видео в открытом мире, не требующий какой-либо дополнительной информации, такой как позы камеры или оптический поток. DepthCrafter достигает способности обобщения к видео в открытом мире путем обучения модели видео-к-глубине на основе предварительно обученной модели диффузии изображения в видео, через нашу тщательно разработанную трехэтапную стратегию обучения с составленными сопоставленными наборами данных видео-глубина. Наш подход к обучению позволяет модели генерировать последовательности глубины переменной длины за один раз, до 110 кадров, и извлекать как точные детали глубины, так и богатое разнообразие контента из реалистичных и синтетических наборов данных. Мы также предлагаем стратегию вывода, которая обрабатывает чрезвычайно длинные видео через сегментное оценивание и плавное сшивание. Комплексные оценки на нескольких наборах данных показывают, что DepthCrafter достигает передовой производительности в оценке глубины видео в открытом мире в условиях нулевой настройки. Более того, DepthCrafter облегчает различные прикладные задачи, включая визуальные эффекты на основе глубины и условную генерацию видео.

English

Despite significant advancements in monocular depth estimation for static images, estimating video depth in the open world remains challenging, since open-world videos are extremely diverse in content, motion, camera movement, and length. We present DepthCrafter, an innovative method for generating temporally consistent long depth sequences with intricate details for open-world videos, without requiring any supplementary information such as camera poses or optical flow. DepthCrafter achieves generalization ability to open-world videos by training a video-to-depth model from a pre-trained image-to-video diffusion model, through our meticulously designed three-stage training strategy with the compiled paired video-depth datasets. Our training approach enables the model to generate depth sequences with variable lengths at one time, up to 110 frames, and harvest both precise depth details and rich content diversity from realistic and synthetic datasets. We also propose an inference strategy that processes extremely long videos through segment-wise estimation and seamless stitching. Comprehensive evaluations on multiple datasets reveal that DepthCrafter achieves state-of-the-art performance in open-world video depth estimation under zero-shot settings. Furthermore, DepthCrafter facilitates various downstream applications, including depth-based visual effects and conditional video generation.