Du siehst es, du hast es: Lernen der 3D-Erstellung in posefreien Videos im großen Maßstab

You See it, You Got it: Learning 3D Creation on Pose-Free Videos at Scale

December 9, 2024

Autoren: Baorui Ma, Huachen Gao, Haoge Deng, Zhengxiong Luo, Tiejun Huang, Lulu Tang, Xinlong Wang

cs.AI

Zusammenfassung

Aktuelle 3D-Generationsmodelle stützen sich in der Regel auf 3D-"Gold-Labels" in begrenztem Maßstab oder 2D-Diffusionsprioritäten für die Erstellung von 3D-Inhalten. Ihre Leistung ist jedoch durch begrenzte 3D-Prioritäten begrenzt, aufgrund des Mangels an skalierbaren Lernparadigmen. In dieser Arbeit präsentieren wir See3D, ein visuell bedingtes Multi-View-Diffusionsmodell, das auf groß angelegten Internetvideos für die Erstellung von 3D-Inhalten in einer offenen Welt trainiert wurde. Das Modell zielt darauf ab, 3D-Wissen zu erlangen, indem es ausschließlich die visuellen Inhalte aus den umfangreichen und schnell wachsenden Videodaten sieht - Du siehst es, du hast es. Um dies zu erreichen, skalieren wir zunächst die Trainingsdaten mithilfe eines vorgeschlagenen Datenkuratierungspipelines, die automatisch Mehrblick-Inkonsistenzen und unzureichende Beobachtungen aus den Quellvideos filtert. Dies führt zu einem hochwertigen, reichhaltig vielfältigen, groß angelegten Datensatz von Multi-View-Bildern, genannt WebVi3D, der 320 Millionen Frames aus 16 Millionen Videoclips enthält. Dennoch ist es nicht trivial, generische 3D-Prioritäten aus Videos ohne explizite 3D-Geometrie oder Kamerapositionsanmerkungen zu lernen, und die Annotierung von Posen für webbasierte Videos ist unerschwinglich teuer. Um die Notwendigkeit von Posenbedingungen zu beseitigen, führen wir ein innovatives visuelles Kondition - ein rein 2D-induktives visuelles Signal ein, das durch das Hinzufügen von zeitabhängigem Rauschen zu den maskierten Videodaten erzeugt wird. Schließlich stellen wir ein neuartiges visuell bedingtes 3D-Generationsframework vor, indem wir See3D in eine auf Verzerrungen basierende Pipeline für hochwertige 3D-Generierung integrieren. Unsere numerischen und visuellen Vergleiche bei Einzel- und spärlichen Rekonstruktionsbenchmarks zeigen, dass See3D, das auf kostengünstigen und skalierbaren Videodaten trainiert wurde, bemerkenswerte Zero-Shot- und Open-World-Generierungsfähigkeiten erreicht und Modelle übertrifft, die auf teuren und begrenzten 3D-Datensätzen trainiert wurden. Bitte besuchen Sie unsere Projektseite unter: https://vision.baai.ac.cn/see3d

English

Recent 3D generation models typically rely on limited-scale 3D `gold-labels' or 2D diffusion priors for 3D content creation. However, their performance is upper-bounded by constrained 3D priors due to the lack of scalable learning paradigms. In this work, we present See3D, a visual-conditional multi-view diffusion model trained on large-scale Internet videos for open-world 3D creation. The model aims to Get 3D knowledge by solely Seeing the visual contents from the vast and rapidly growing video data -- You See it, You Got it. To achieve this, we first scale up the training data using a proposed data curation pipeline that automatically filters out multi-view inconsistencies and insufficient observations from source videos. This results in a high-quality, richly diverse, large-scale dataset of multi-view images, termed WebVi3D, containing 320M frames from 16M video clips. Nevertheless, learning generic 3D priors from videos without explicit 3D geometry or camera pose annotations is nontrivial, and annotating poses for web-scale videos is prohibitively expensive. To eliminate the need for pose conditions, we introduce an innovative visual-condition - a purely 2D-inductive visual signal generated by adding time-dependent noise to the masked video data. Finally, we introduce a novel visual-conditional 3D generation framework by integrating See3D into a warping-based pipeline for high-fidelity 3D generation. Our numerical and visual comparisons on single and sparse reconstruction benchmarks show that See3D, trained on cost-effective and scalable video data, achieves notable zero-shot and open-world generation capabilities, markedly outperforming models trained on costly and constrained 3D datasets. Please refer to our project page at: https://vision.baai.ac.cn/see3d