PointDiT: Diffusie in pixelruimte voor monoculaire geometrieschatting

Samenvatting

State-of-the-art 3D-reconstructiemethoden uit één beeld vertrouwen vaak op complexe hybride architecturen en verliesfuncties, of comprimeren geometrie in latente ruimtes om gebruik te kunnen maken van voorgetrainde latente diffusiemodellen. In dit werk tonen we aan dat dergelijke architecturale overhead en ingewikkelde verliesformuleringen overbodig zijn. We introduceren een minimalistische diffusietransformator in pixelruimte, gebouwd op een gewone ViT, die rechtstreeks werkt op ruwe 3D-puntkaartpatches en wordt geconditioneerd op beeldtokens van een voorgetrainde DINOv3. In tegenstelling tot bestaande latente diffusiebenaderingen trainen we onze diffusiebackbone volledig vanaf de basis, waardoor puntkaarttokenizers overbodig worden. Ondanks de eenvoud overtreft onze aanpak complexe latente-gebaseerde diffusiemodellen, terwijl hij aanzienlijk eenvoudiger blijft dan hybride alternatieven. Opvallend is dat hij scherpere geometrische structuren produceert en robuuster is in sterk ambigue regio's, zoals bij transparante objecten.

English

State-of-the-art single-image 3D reconstruction methods often rely on complex hybrid architectures and loss functions, or compress geometry into latent spaces in order to leverage pre-trained latent diffusion models. In this work, we show that such architectural overhead and intricate loss formulations are unnecessary. We introduce a minimalist pixel-space Diffusion Transformer, built on a plain ViT, that operates directly on raw 3D point map patches and is conditioned on image tokens from a pre-trained DINOv3. Unlike existing latent diffusion approaches, we train our diffusion backbone entirely from scratch, eliminating the need for point map tokenizers. Despite its simplicity, our approach surpasses complex latent-based diffusion models while remaining significantly simpler than hybrid alternatives. Notably, it produces sharper geometric structure and is more robust in highly ambiguous regions, such as transparent objects.