CRM: Преобразование одиночного изображения в трехмерную текстурированную сетку с помощью сверточной реконструкции.

CRM: Single Image to 3D Textured Mesh with Convolutional Reconstruction Model

March 8, 2024

Авторы: Zhengyi Wang, Yikai Wang, Yifei Chen, Chendong Xiang, Shuo Chen, Dajiang Yu, Chongxuan Li, Hang Su, Jun Zhu

cs.AI

Аннотация

Генеративные модели трехмерных изображений прямого распространения, такие как Большая Модель Восстановления (LRM), продемонстрировали исключительную скорость генерации. Однако методы на основе трансформеров не используют геометрические априорные знания о трехплоскостном компоненте в их архитектуре, что часто приводит к субоптимальному качеству из-за ограниченного размера трехмерных данных и медленного обучения. В данной работе мы представляем Модель Восстановления с использованием Сверток (CRM), высококачественную генеративную модель одного изображения в трех измерениях прямого распространения. Учитывая ограничения, накладываемые разреженными трехмерными данными, мы подчеркиваем необходимость интеграции геометрических априорных знаний в проектирование сети. CRM основана на ключевом наблюдении, что визуализация трехплоскости демонстрирует пространственное соответствие шести ортографических изображений. Сначала она генерирует шесть ортографических изображений из одного входного изображения, затем подает эти изображения на сверточную U-Net, используя ее сильные возможности выравнивания на уровне пикселей и значительную пропускную способность для создания высокоразрешенной трехплоскости. CRM также использует Flexicubes в качестве геометрического представления, облегчая прямую оптимизацию от начала до конца на текстурированных сетках. В целом, наша модель создает текстурированную сетку высокого качества из изображения всего за 10 секунд, без какой-либо оптимизации во время тестирования.

English

Feed-forward 3D generative models like the Large Reconstruction Model (LRM) have demonstrated exceptional generation speed. However, the transformer-based methods do not leverage the geometric priors of the triplane component in their architecture, often leading to sub-optimal quality given the limited size of 3D data and slow training. In this work, we present the Convolutional Reconstruction Model (CRM), a high-fidelity feed-forward single image-to-3D generative model. Recognizing the limitations posed by sparse 3D data, we highlight the necessity of integrating geometric priors into network design. CRM builds on the key observation that the visualization of triplane exhibits spatial correspondence of six orthographic images. First, it generates six orthographic view images from a single input image, then feeds these images into a convolutional U-Net, leveraging its strong pixel-level alignment capabilities and significant bandwidth to create a high-resolution triplane. CRM further employs Flexicubes as geometric representation, facilitating direct end-to-end optimization on textured meshes. Overall, our model delivers a high-fidelity textured mesh from an image in just 10 seconds, without any test-time optimization.