PointInfinity: Модели диффузии точек, инвариантные к разрешению
PointInfinity: Resolution-Invariant Point Diffusion Models
April 4, 2024
Авторы: Zixuan Huang, Justin Johnson, Shoubhik Debnath, James M. Rehg, Chao-Yuan Wu
cs.AI
Аннотация
Мы представляем PointInfinity, эффективное семейство моделей диффузии облаков точек. Наша основная идея заключается в использовании архитектуры на основе трансформера с постоянным размером латентного представления, инвариантного к разрешению. Это обеспечивает эффективное обучение с низким разрешением облаков точек, позволяя при этом генерировать высокоразрешенные облака точек во время вывода. Более того, мы показываем, что увеличение разрешения во время тестирования за пределы разрешения обучения улучшает достоверность сгенерированных облаков точек и поверхностей. Мы анализируем это явление и устанавливаем связь с руководством без классификатора, часто используемым в моделях диффузии, демонстрируя, что оба подхода позволяют настраивать достоверность и изменчивость во время вывода. Эксперименты на CO3D показывают, что PointInfinity может эффективно генерировать высокоразрешенные облака точек (до 131 тыс. точек, в 31 раз больше, чем у Point-E) с качеством на уровне современных стандартов.
English
We present PointInfinity, an efficient family of point cloud diffusion
models. Our core idea is to use a transformer-based architecture with a
fixed-size, resolution-invariant latent representation. This enables efficient
training with low-resolution point clouds, while allowing high-resolution point
clouds to be generated during inference. More importantly, we show that scaling
the test-time resolution beyond the training resolution improves the fidelity
of generated point clouds and surfaces. We analyze this phenomenon and draw a
link to classifier-free guidance commonly used in diffusion models,
demonstrating that both allow trading off fidelity and variability during
inference. Experiments on CO3D show that PointInfinity can efficiently generate
high-resolution point clouds (up to 131k points, 31 times more than Point-E)
with state-of-the-art quality.