GTR: 幾何学とテクスチャの精緻化による大規模3D再構成モデルの改善

GTR: Improving Large 3D Reconstruction Models through Geometry and Texture Refinement

June 9, 2024

著者: Peiye Zhuang, Songfang Han, Chaoyang Wang, Aliaksandr Siarohin, Jiaxu Zou, Michael Vasilkovsky, Vladislav Shakhrai, Sergey Korolev, Sergey Tulyakov, Hsin-Ying Lee

cs.AI

要旨

本論文では、マルチビュー画像からの3Dメッシュ再構築のための新たなアプローチを提案する。我々の手法は、トランスフォーマーベースのトライプレーン生成器とマルチビュー画像で学習されたNeural Radiance Field（NeRF）モデルを使用するLRMのような大規模再構築モデルに着想を得ている。しかし、本手法では、3D再構築品質を大幅に向上させるためのいくつかの重要な改良を導入している。まず、元のLRMアーキテクチャを検証し、いくつかの欠点を発見した。その後、LRMアーキテクチャにそれぞれの改良を加え、マルチビュー画像の表現を改善し、より計算効率の高い学習を実現した。次に、ジオメトリ再構築を改善し、フル解像度での監視を可能にするために、NeRFフィールドからメッシュを微分可能な方法で抽出し、メッシュレンダリングを通じてNeRFモデルを微調整した。これらの改良により、Google Scanned Objects（GSO）データセットでPSNR 28.67を達成するなど、2Dおよび3D評価指標において最先端の性能を実現した。これらの優れた結果にもかかわらず、我々のフィードフォワードモデルは、テキストやポートレートなどの複雑なテクスチャの再構築に依然として苦戦している。これを解決するために、軽量なインスタンスごとのテクスチャリファインメント手順を導入した。この手順では、入力マルチビュー画像を使用して、メッシュ表面上のトライプレーン表現とNeRF色推定モデルをわずか4秒で微調整する。このリファインメントにより、PSNRが29.79に向上し、テキストなどの複雑なテクスチャの忠実な再構築を実現した。さらに、本手法は、テキストや画像から3Dを生成するなど、さまざまな下流アプリケーションを可能にする。

English

We propose a novel approach for 3D mesh reconstruction from multi-view images. Our method takes inspiration from large reconstruction models like LRM that use a transformer-based triplane generator and a Neural Radiance Field (NeRF) model trained on multi-view images. However, in our method, we introduce several important modifications that allow us to significantly enhance 3D reconstruction quality. First of all, we examine the original LRM architecture and find several shortcomings. Subsequently, we introduce respective modifications to the LRM architecture, which lead to improved multi-view image representation and more computationally efficient training. Second, in order to improve geometry reconstruction and enable supervision at full image resolution, we extract meshes from the NeRF field in a differentiable manner and fine-tune the NeRF model through mesh rendering. These modifications allow us to achieve state-of-the-art performance on both 2D and 3D evaluation metrics, such as a PSNR of 28.67 on Google Scanned Objects (GSO) dataset. Despite these superior results, our feed-forward model still struggles to reconstruct complex textures, such as text and portraits on assets. To address this, we introduce a lightweight per-instance texture refinement procedure. This procedure fine-tunes the triplane representation and the NeRF color estimation model on the mesh surface using the input multi-view images in just 4 seconds. This refinement improves the PSNR to 29.79 and achieves faithful reconstruction of complex textures, such as text. Additionally, our approach enables various downstream applications, including text- or image-to-3D generation.