PointDiT: Pixelraum-Diffusion für monokulare Geometrieschätzung

Zusammenfassung

Stand der Technik bei der Einzelbild-3D-Rekonstruktion sind häufig komplexe hybride Architekturen und Verlustfunktionen oder die Kompression von Geometrie in latente Räume, um vortrainierte latente Diffusionsmodelle zu nutzen. In dieser Arbeit zeigen wir, dass solcher architektonischer Overhead und komplizierte Verlustformulierungen unnötig sind. Wir stellen einen minimalistischen Pixelraum-Diffusion-Transformer vor, der auf einem einfachen ViT basiert, direkt auf rohen 3D-Punktkarten-Patches arbeitet und durch Bildtokens eines vortrainierten DINOv3 konditioniert wird. Im Gegensatz zu bestehenden latenten Diffusionsansätzen trainieren wir unser Diffusions-Backbone vollständig von Grund auf, wodurch die Notwendigkeit von Punktkarten-Tokenisierern entfällt. Trotz seiner Einfachheit übertrifft unser Ansatz komplexe latente Diffusionsmodelle und bleibt dabei wesentlich simpler als hybride Alternativen. Besonders bemerkenswert ist, dass er schärfere geometrische Strukturen erzeugt und in stark ambigen Bereichen, wie etwa transparenten Objekten, robuster ist.

English

State-of-the-art single-image 3D reconstruction methods often rely on complex hybrid architectures and loss functions, or compress geometry into latent spaces in order to leverage pre-trained latent diffusion models. In this work, we show that such architectural overhead and intricate loss formulations are unnecessary. We introduce a minimalist pixel-space Diffusion Transformer, built on a plain ViT, that operates directly on raw 3D point map patches and is conditioned on image tokens from a pre-trained DINOv3. Unlike existing latent diffusion approaches, we train our diffusion backbone entirely from scratch, eliminating the need for point map tokenizers. Despite its simplicity, our approach surpasses complex latent-based diffusion models while remaining significantly simpler than hybrid alternatives. Notably, it produces sharper geometric structure and is more robust in highly ambiguous regions, such as transparent objects.