PointInfinity: 해상도 불변 포인트 확산 모델

PointInfinity: Resolution-Invariant Point Diffusion Models

April 4, 2024

저자: Zixuan Huang, Justin Johnson, Shoubhik Debnath, James M. Rehg, Chao-Yuan Wu

cs.AI

초록

우리는 효율적인 포인트 클라우드 확산 모델 패밀리인 PointInfinity를 소개합니다. 우리의 핵심 아이디어는 고정 크기의 해상도 불변 잠재 표현을 사용하는 트랜스포머 기반 아키텍처를 활용하는 것입니다. 이를 통해 저해상도 포인트 클라우드로 효율적인 학습이 가능하면서도, 추론 시에는 고해상도 포인트 클라우드를 생성할 수 있습니다. 더 중요한 것은, 학습 시 사용한 해상도를 넘어서는 테스트 시간 해상도 스케일링이 생성된 포인트 클라우드와 표면의 충실도를 향상시킨다는 점을 보여준다는 것입니다. 우리는 이 현상을 분석하고, 확산 모델에서 일반적으로 사용되는 분류자 없는 가이던스와의 연관성을 도출하여, 둘 다 추론 시 충실도와 다양성 간의 트레이드오프를 가능하게 한다는 것을 입증합니다. CO3D에 대한 실험 결과, PointInfinity는 최신 기술 수준의 품질로 고해상도 포인트 클라우드(최대 131k 포인트, Point-E 대비 31배)를 효율적으로 생성할 수 있음을 보여줍니다.

English

We present PointInfinity, an efficient family of point cloud diffusion models. Our core idea is to use a transformer-based architecture with a fixed-size, resolution-invariant latent representation. This enables efficient training with low-resolution point clouds, while allowing high-resolution point clouds to be generated during inference. More importantly, we show that scaling the test-time resolution beyond the training resolution improves the fidelity of generated point clouds and surfaces. We analyze this phenomenon and draw a link to classifier-free guidance commonly used in diffusion models, demonstrating that both allow trading off fidelity and variability during inference. Experiments on CO3D show that PointInfinity can efficiently generate high-resolution point clouds (up to 131k points, 31 times more than Point-E) with state-of-the-art quality.