Вейвлетный латентный диффузион (Wala): трехмерная генеративная модель с миллиардом параметров с компактными вейвлетными кодировками.

Wavelet Latent Diffusion (Wala): Billion-Parameter 3D Generative Model with Compact Wavelet Encodings

November 12, 2024

Авторы: Aditya Sanghi, Aliasghar Khani, Pradyumna Reddy, Arianna Rampini, Derek Cheung, Kamal Rahimi Malekshan, Kanika Madan, Hooman Shayani

cs.AI

Аннотация

Крупномасштабные 3D генеративные модели требуют значительных вычислительных ресурсов, однако часто не способны захватить мелкие детали и сложные геометрии на высоких разрешениях. Мы приписываем это ограничение неэффективности текущих представлений, которые не обладают достаточной компактностью для эффективного моделирования генеративных моделей. Для решения этой проблемы мы представляем новый подход, называемый Волновой Латентный Диффузией, или WaLa, который кодирует 3D формы в латентные кодировки на основе вейвлетов. Конкретно, мы сжимаем 256^3 поле знаковых расстояний в 12^3 на 4 латентную сетку, достигая впечатляющего коэффициента сжатия 2427 раз с минимальной потерей деталей. Этот высокий уровень сжатия позволяет нашему методу эффективно обучать крупномасштабные генеративные сети без увеличения времени вывода. Наши модели, как условные, так и безусловные, содержат примерно один миллиард параметров и успешно генерируют высококачественные 3D формы с разрешением 256^3. Более того, WaLa обеспечивает быстрый вывод, создавая формы за два-четыре секунды в зависимости от условия, несмотря на масштаб модели. Мы продемонстрировали передовые результаты на нескольких наборах данных, существенно улучшив качество генерации, разнообразие и вычислительную эффективность. Мы открыто предоставляем наш код и, насколько нам известно, выпускаем наибольшие предварительно обученные 3D генеративные модели различных модальностей.

English

Large-scale 3D generative models require substantial computational resources yet often fall short in capturing fine details and complex geometries at high resolutions. We attribute this limitation to the inefficiency of current representations, which lack the compactness required to model the generative models effectively. To address this, we introduce a novel approach called Wavelet Latent Diffusion, or WaLa, that encodes 3D shapes into wavelet-based, compact latent encodings. Specifically, we compress a 256^3 signed distance field into a 12^3 times 4 latent grid, achieving an impressive 2427x compression ratio with minimal loss of detail. This high level of compression allows our method to efficiently train large-scale generative networks without increasing the inference time. Our models, both conditional and unconditional, contain approximately one billion parameters and successfully generate high-quality 3D shapes at 256^3 resolution. Moreover, WaLa offers rapid inference, producing shapes within two to four seconds depending on the condition, despite the model's scale. We demonstrate state-of-the-art performance across multiple datasets, with significant improvements in generation quality, diversity, and computational efficiency. We open-source our code and, to the best of our knowledge, release the largest pretrained 3D generative models across different modalities.