PointInfinity: Modelos de Difusão de Pontos Invariantes à Resolução

PointInfinity: Resolution-Invariant Point Diffusion Models

April 4, 2024

Autores: Zixuan Huang, Justin Johnson, Shoubhik Debnath, James M. Rehg, Chao-Yuan Wu

cs.AI

Resumo

Apresentamos o PointInfinity, uma família eficiente de modelos de difusão para nuvens de pontos. Nossa ideia central é utilizar uma arquitetura baseada em transformers com uma representação latente de tamanho fixo e invariante à resolução. Isso permite um treinamento eficiente com nuvens de pontos de baixa resolução, ao mesmo tempo que possibilita a geração de nuvens de pontos de alta resolução durante a inferência. Mais importante ainda, mostramos que escalar a resolução no momento do teste além da resolução de treinamento melhora a fidelidade das nuvens de pontos e superfícies geradas. Analisamos esse fenômeno e estabelecemos uma ligação com a orientação sem classificador, comumente usada em modelos de difusão, demonstrando que ambos permitem equilibrar fidelidade e variabilidade durante a inferência. Experimentos no CO3D mostram que o PointInfinity pode gerar de forma eficiente nuvens de pontos de alta resolução (até 131k pontos, 31 vezes mais que o Point-E) com qualidade de ponta.

English

We present PointInfinity, an efficient family of point cloud diffusion models. Our core idea is to use a transformer-based architecture with a fixed-size, resolution-invariant latent representation. This enables efficient training with low-resolution point clouds, while allowing high-resolution point clouds to be generated during inference. More importantly, we show that scaling the test-time resolution beyond the training resolution improves the fidelity of generated point clouds and surfaces. We analyze this phenomenon and draw a link to classifier-free guidance commonly used in diffusion models, demonstrating that both allow trading off fidelity and variability during inference. Experiments on CO3D show that PointInfinity can efficiently generate high-resolution point clouds (up to 131k points, 31 times more than Point-E) with state-of-the-art quality.