GTR: Улучшение больших моделей трехмерной реконструкции через уточнение геометрии и текстуры

GTR: Improving Large 3D Reconstruction Models through Geometry and Texture Refinement

June 9, 2024

Авторы: Peiye Zhuang, Songfang Han, Chaoyang Wang, Aliaksandr Siarohin, Jiaxu Zou, Michael Vasilkovsky, Vladislav Shakhrai, Sergey Korolev, Sergey Tulyakov, Hsin-Ying Lee

cs.AI

Аннотация

Мы предлагаем новый подход к восстановлению 3D сеток из многоплановых изображений. Наш метод черпает вдохновение из крупных моделей реконструкции, таких как LRM, которые используют генератор триплана на основе трансформера и модель нейронного излучения (NeRF), обученную на многоплановых изображениях. Однако в нашем методе мы вносим несколько важных модификаций, позволяющих значительно улучшить качество 3D реконструкции. Прежде всего, мы изучаем оригинальную архитектуру LRM и выявляем несколько недостатков. Затем мы вносим соответствующие изменения в архитектуру LRM, которые приводят к улучшению представления многоплановых изображений и более эффективному обучению с вычислительной точки зрения. Во-вторых, для улучшения восстановления геометрии и обеспечения надзора на полном разрешении изображения мы извлекаем сетки из поля NeRF дифференцируемым образом и настраиваем модель NeRF через рендеринг сеток. Эти изменения позволяют нам достичь передовых результатов как по метрикам оценки 2D, так и 3D, таких как PSNR 28,67 на наборе данных Google Scanned Objects (GSO). Несмотря на эти превосходные результаты, наша модель прямого распространения все еще испытывает трудности с восстановлением сложных текстур, таких как текст и портреты на объектах. Для решения этой проблемы мы вводим легкую процедуру улучшения текстуры для каждого экземпляра. Эта процедура настраивает представление триплана и модель оценки цвета NeRF на поверхности сетки с использованием входных многоплановых изображений всего за 4 секунды. Это улучшение повышает PSNR до 29,79 и обеспечивает точное восстановление сложных текстур, таких как текст. Кроме того, наш подход позволяет различные прикладные задачи, включая генерацию 3D из текста или изображений.

English

We propose a novel approach for 3D mesh reconstruction from multi-view images. Our method takes inspiration from large reconstruction models like LRM that use a transformer-based triplane generator and a Neural Radiance Field (NeRF) model trained on multi-view images. However, in our method, we introduce several important modifications that allow us to significantly enhance 3D reconstruction quality. First of all, we examine the original LRM architecture and find several shortcomings. Subsequently, we introduce respective modifications to the LRM architecture, which lead to improved multi-view image representation and more computationally efficient training. Second, in order to improve geometry reconstruction and enable supervision at full image resolution, we extract meshes from the NeRF field in a differentiable manner and fine-tune the NeRF model through mesh rendering. These modifications allow us to achieve state-of-the-art performance on both 2D and 3D evaluation metrics, such as a PSNR of 28.67 on Google Scanned Objects (GSO) dataset. Despite these superior results, our feed-forward model still struggles to reconstruct complex textures, such as text and portraits on assets. To address this, we introduce a lightweight per-instance texture refinement procedure. This procedure fine-tunes the triplane representation and the NeRF color estimation model on the mesh surface using the input multi-view images in just 4 seconds. This refinement improves the PSNR to 29.79 and achieves faithful reconstruction of complex textures, such as text. Additionally, our approach enables various downstream applications, including text- or image-to-3D generation.