PointInfinity: Resolutie-onafhankelijke Point Diffusion-modellen

PointInfinity: Resolution-Invariant Point Diffusion Models

April 4, 2024

Auteurs: Zixuan Huang, Justin Johnson, Shoubhik Debnath, James M. Rehg, Chao-Yuan Wu

cs.AI

Samenvatting

We presenteren PointInfinity, een efficiënte familie van diffusiemodellen voor puntenwolken. Onze kernidee is het gebruik van een transformer-gebaseerde architectuur met een vaste grootte, resolutie-onafhankelijke latente representatie. Dit maakt efficiënte training mogelijk met puntenwolken van lage resolutie, terwijl het genereren van puntenwolken met hoge resolutie tijdens inferentie mogelijk blijft. Belangrijker is dat we aantonen dat het schalen van de testtijdresolutie voorbij de trainingsresolutie de kwaliteit van gegenereerde puntenwolken en oppervlakken verbetert. We analyseren dit fenomeen en leggen een verband met classifier-free guidance, dat vaak wordt gebruikt in diffusiemodellen, en tonen aan dat beide het mogelijk maken om een afweging te maken tussen kwaliteit en variabiliteit tijdens inferentie. Experimenten op CO3D laten zien dat PointInfinity efficiënt puntenwolken met hoge resolutie kan genereren (tot 131k punten, 31 keer meer dan Point-E) met state-of-the-art kwaliteit.

English

We present PointInfinity, an efficient family of point cloud diffusion models. Our core idea is to use a transformer-based architecture with a fixed-size, resolution-invariant latent representation. This enables efficient training with low-resolution point clouds, while allowing high-resolution point clouds to be generated during inference. More importantly, we show that scaling the test-time resolution beyond the training resolution improves the fidelity of generated point clouds and surfaces. We analyze this phenomenon and draw a link to classifier-free guidance commonly used in diffusion models, demonstrating that both allow trading off fidelity and variability during inference. Experiments on CO3D show that PointInfinity can efficiently generate high-resolution point clouds (up to 131k points, 31 times more than Point-E) with state-of-the-art quality.