DepthCrafter: Generierung konsistenter langer Tiefensequenzen für Open-World-Videos

DepthCrafter: Generating Consistent Long Depth Sequences for Open-world Videos

September 3, 2024

Autoren: Wenbo Hu, Xiangjun Gao, Xiaoyu Li, Sijie Zhao, Xiaodong Cun, Yong Zhang, Long Quan, Ying Shan

cs.AI

Zusammenfassung

Trotz signifikanter Fortschritte bei der monokularen Tiefenschätzung für statische Bilder bleibt die Schätzung der Tiefeninformation in Videos in der offenen Welt eine Herausforderung, da offene Welt Videos extrem vielfältig in Inhalt, Bewegung, Kamerabewegung und Länge sind. Wir stellen DepthCrafter vor, eine innovative Methode zur Erzeugung von zeitlich konsistenten Tiefensequenzen mit komplexen Details für offene Welt Videos, ohne zusätzliche Informationen wie Kamerapositionen oder optischen Fluss zu benötigen. DepthCrafter erzielt eine Generalisierungsfähigkeit für offene Welt Videos, indem ein Video-zu-Tiefe-Modell aus einem vortrainierten Bild-zu-Video-Diffusionsmodell trainiert wird, durch unsere sorgfältig entworfene dreistufige Trainingsstrategie mit den zusammengestellten gepaarten Video-Tiefendatensätzen. Unser Schulungsansatz ermöglicht es dem Modell, Tiefensequenzen mit variablen Längen gleichzeitig zu generieren, bis zu 110 Frames, und sowohl präzise Tiefendetails als auch eine reiche Inhaltsvielfalt aus realistischen und synthetischen Datensätzen zu gewinnen. Wir schlagen auch eine Inferenzstrategie vor, die extrem lange Videos durch segmentweise Schätzung und nahtloses Zusammenfügen verarbeitet. Umfassende Bewertungen auf mehreren Datensätzen zeigen, dass DepthCrafter unter Null-Shot-Einstellungen eine Spitzenleistung bei der Tiefenschätzung von offenen Welt Videos erzielt. Darüber hinaus erleichtert DepthCrafter verschiedene nachgelagerte Anwendungen, einschließlich tiefenbasierten visuellen Effekten und bedingter Videoerzeugung.

English

Despite significant advancements in monocular depth estimation for static images, estimating video depth in the open world remains challenging, since open-world videos are extremely diverse in content, motion, camera movement, and length. We present DepthCrafter, an innovative method for generating temporally consistent long depth sequences with intricate details for open-world videos, without requiring any supplementary information such as camera poses or optical flow. DepthCrafter achieves generalization ability to open-world videos by training a video-to-depth model from a pre-trained image-to-video diffusion model, through our meticulously designed three-stage training strategy with the compiled paired video-depth datasets. Our training approach enables the model to generate depth sequences with variable lengths at one time, up to 110 frames, and harvest both precise depth details and rich content diversity from realistic and synthetic datasets. We also propose an inference strategy that processes extremely long videos through segment-wise estimation and seamless stitching. Comprehensive evaluations on multiple datasets reveal that DepthCrafter achieves state-of-the-art performance in open-world video depth estimation under zero-shot settings. Furthermore, DepthCrafter facilitates various downstream applications, including depth-based visual effects and conditional video generation.