PointInfinity : Modèles de diffusion de points invariants à la résolution

PointInfinity: Resolution-Invariant Point Diffusion Models

April 4, 2024

Auteurs: Zixuan Huang, Justin Johnson, Shoubhik Debnath, James M. Rehg, Chao-Yuan Wu

cs.AI

Résumé

Nous présentons PointInfinity, une famille efficace de modèles de diffusion pour nuages de points. Notre idée centrale est d'utiliser une architecture basée sur des transformateurs avec une représentation latente de taille fixe et invariante à la résolution. Cela permet un entraînement efficace avec des nuages de points de basse résolution, tout en permettant la génération de nuages de points haute résolution lors de l'inférence. Plus important encore, nous montrons que l'augmentation de la résolution au moment du test au-delà de la résolution d'entraînement améliore la fidélité des nuages de points et des surfaces générés. Nous analysons ce phénomène et établissons un lien avec le guidage sans classificateur couramment utilisé dans les modèles de diffusion, démontrant que les deux permettent de faire un compromis entre fidélité et variabilité lors de l'inférence. Les expériences sur CO3D montrent que PointInfinity peut générer efficacement des nuages de points haute résolution (jusqu'à 131k points, 31 fois plus que Point-E) avec une qualité de pointe.

English

We present PointInfinity, an efficient family of point cloud diffusion models. Our core idea is to use a transformer-based architecture with a fixed-size, resolution-invariant latent representation. This enables efficient training with low-resolution point clouds, while allowing high-resolution point clouds to be generated during inference. More importantly, we show that scaling the test-time resolution beyond the training resolution improves the fidelity of generated point clouds and surfaces. We analyze this phenomenon and draw a link to classifier-free guidance commonly used in diffusion models, demonstrating that both allow trading off fidelity and variability during inference. Experiments on CO3D show that PointInfinity can efficiently generate high-resolution point clouds (up to 131k points, 31 times more than Point-E) with state-of-the-art quality.