PointInfinity: Modelos de Difusión de Puntos Invariantes a la Resolución

PointInfinity: Resolution-Invariant Point Diffusion Models

April 4, 2024

Autores: Zixuan Huang, Justin Johnson, Shoubhik Debnath, James M. Rehg, Chao-Yuan Wu

cs.AI

Resumen

Presentamos PointInfinity, una familia eficiente de modelos de difusión para nubes de puntos. Nuestra idea central es utilizar una arquitectura basada en transformadores con una representación latente de tamaño fijo e invariante a la resolución. Esto permite un entrenamiento eficiente con nubes de puntos de baja resolución, al mismo tiempo que posibilita la generación de nubes de puntos de alta resolución durante la inferencia. Más importante aún, demostramos que escalar la resolución en tiempo de prueba más allá de la resolución de entrenamiento mejora la fidelidad de las nubes de puntos y superficies generadas. Analizamos este fenómeno y establecemos una conexión con la guía sin clasificador comúnmente utilizada en modelos de difusión, demostrando que ambos permiten equilibrar fidelidad y variabilidad durante la inferencia. Los experimentos en CO3D muestran que PointInfinity puede generar eficientemente nubes de puntos de alta resolución (hasta 131k puntos, 31 veces más que Point-E) con una calidad de vanguardia.

English

We present PointInfinity, an efficient family of point cloud diffusion models. Our core idea is to use a transformer-based architecture with a fixed-size, resolution-invariant latent representation. This enables efficient training with low-resolution point clouds, while allowing high-resolution point clouds to be generated during inference. More importantly, we show that scaling the test-time resolution beyond the training resolution improves the fidelity of generated point clouds and surfaces. We analyze this phenomenon and draw a link to classifier-free guidance commonly used in diffusion models, demonstrating that both allow trading off fidelity and variability during inference. Experiments on CO3D show that PointInfinity can efficiently generate high-resolution point clouds (up to 131k points, 31 times more than Point-E) with state-of-the-art quality.