DF3DV-1K: Ein groß angelegter Datensatz und Benchmark für die störungsfreie Synthese neuer Ansichten

Zusammenfassung

Fortschritte bei Radiance Fields haben fotorealistische Neuansichten-Synthese ermöglicht. In mehreren Bereichen wurden groß angelegte reale Datensätze entwickelt, um umfassendes Benchmarking zu unterstützen und Fortschritte über szenenspezifische Rekonstruktion hinaus zu ermöglichen. Für störungsfreie Radiance Fields fehlt jedoch ein groß angelegter Datensatz mit sauberen und überladenen Bildern pro Szene, was die Entwicklung einschränkt. Um diese Lücke zu schließen, stellen wir DF3DV-1K vor, einen groß angelegten realen Datensatz mit 1.048 Szenen, die jeweils saubere und überladene Bildsätze für das Benchmarking bereitstellen. Insgesamt enthält der Datensatz 89.924 Bilder, die mit Verbraucherkameras aufgenommen wurden, um beiläufige Aufnahmen zu simulieren, und umfasst 128 Störertypen und 161 Szenenthemen in Innen- und Außenbereichen. Ein kuratierter Unterdatensatz von 41 Szenen, DF3DV-41, wurde systematisch entwickelt, um die Robustheit von störungsfreien Radiance-Field-Methoden unter herausfordernden Szenarien zu bewerten. Mit DF3DV-1K bewerten wir neun aktuelle störungsfreie Radiance-Field-Methoden und 3D Gaussian Splatting und identifizieren die robustesten Methoden und die herausforderndsten Szenarien. Über das Benchmarking hinaus demonstrieren wir eine Anwendung von DF3DV-1K durch Feinabstimmung eines diffusionsbasierten 2D-Verbesserers zur Verbesserung von Radiance-Field-Methoden, wobei wir durchschnittliche Verbesserungen von 0,96 dB PSNR und 0,057 LPIPS auf dem zurückgehaltenen Satz (z. B. DF3DV-41) und dem On-the-go-Datensatz erzielen. Wir hoffen, dass DF3DV-1K die Entwicklung störungsfreier Sicht fördert und Fortschritte über szenenspezifische Ansätze hinaus vorantreibt. Der Datensatz und die Rangliste sind verfügbar unter https://johnnylu305.github.io/df3dv1k_web/.

English

Advances in radiance fields have enabled photorealistic novel view synthesis. In several domains, large-scale real-world datasets have been developed to support comprehensive benchmarking and to facilitate progress beyond scene-specific reconstruction. However, for distractor-free radiance fields, a large-scale dataset with clean and cluttered images per scene remains lacking, limiting the development. To address this gap, we introduce DF3DV-1K, a large-scale real-world dataset comprising 1,048 scenes, each providing clean and cluttered image sets for benchmarking. In total, the dataset contains 89,924 images captured using consumer cameras to mimic casual capture, spanning 128 distractor types and 161 scene themes across indoor and outdoor environments. A curated subset of 41 scenes, DF3DV-41, is systematically designed to evaluate the robustness of distractor-free radiance field methods under challenging scenarios. Using DF3DV-1K, we benchmark nine recent distractor-free radiance field methods and 3D Gaussian Splatting, identifying the most robust methods and the most challenging scenarios. Beyond benchmarking, we demonstrate an application of DF3DV-1K by fine-tuning a diffusion-based 2D enhancer to improve radiance field methods, achieving average improvements of 0.96 dB PSNR and 0.057 LPIPS on the held-out set (e.g., DF3DV-41) and the On-the-go dataset. We hope DF3DV-1K facilitates the development of distractor-free vision and promotes progress beyond scene-specific approaches. The dataset and leaderboard are available at https://johnnylu305.github.io/df3dv1k_web/.