PointInfinity: Modelli di Diffusione di Punti Invarianti alla Risoluzione
PointInfinity: Resolution-Invariant Point Diffusion Models
April 4, 2024
Autori: Zixuan Huang, Justin Johnson, Shoubhik Debnath, James M. Rehg, Chao-Yuan Wu
cs.AI
Abstract
Presentiamo PointInfinity, una famiglia efficiente di modelli di diffusione per nuvole di punti. La nostra idea centrale è utilizzare un'architettura basata su transformer con una rappresentazione latente a dimensione fissa e invariante alla risoluzione. Ciò consente un addestramento efficiente con nuvole di punti a bassa risoluzione, pur permettendo la generazione di nuvole di punti ad alta risoluzione durante l'inferenza. Ancora più importante, dimostriamo che scalare la risoluzione al momento del test oltre quella di addestramento migliora la fedeltà delle nuvole di punti e delle superfici generate. Analizziamo questo fenomeno e lo colleghiamo alla guida senza classificatore comunemente utilizzata nei modelli di diffusione, dimostrando che entrambi consentono di bilanciare fedeltà e variabilità durante l'inferenza. Gli esperimenti su CO3D mostrano che PointInfinity può generare in modo efficiente nuvole di punti ad alta risoluzione (fino a 131k punti, 31 volte più di Point-E) con una qualità all'avanguardia.
English
We present PointInfinity, an efficient family of point cloud diffusion
models. Our core idea is to use a transformer-based architecture with a
fixed-size, resolution-invariant latent representation. This enables efficient
training with low-resolution point clouds, while allowing high-resolution point
clouds to be generated during inference. More importantly, we show that scaling
the test-time resolution beyond the training resolution improves the fidelity
of generated point clouds and surfaces. We analyze this phenomenon and draw a
link to classifier-free guidance commonly used in diffusion models,
demonstrating that both allow trading off fidelity and variability during
inference. Experiments on CO3D show that PointInfinity can efficiently generate
high-resolution point clouds (up to 131k points, 31 times more than Point-E)
with state-of-the-art quality.