MeshLRM: 高品質メッシュのための大規模再構成モデル

MeshLRM: Large Reconstruction Model for High-Quality Mesh

April 18, 2024

著者: Xinyue Wei, Kai Zhang, Sai Bi, Hao Tan, Fujun Luan, Valentin Deschaintre, Kalyan Sunkavalli, Hao Su, Zexiang Xu

cs.AI

要旨

本研究では、MeshLRMという新しいLRMベースのアプローチを提案する。この手法は、わずか4枚の入力画像から1秒未満で高品質なメッシュを再構築することができる。従来のNeRFベースの再構築に焦点を当てた大規模再構築モデル（LRM）とは異なり、MeshLRMはLRMフレームワーク内で微分可能なメッシュ抽出とレンダリングを組み込んでいる。これにより、事前学習済みのNeRF LRMをメッシュレンダリングで微調整することで、エンドツーエンドのメッシュ再構築が可能となる。さらに、従来のLRMにおける複雑な設計を簡素化することで、LRMアーキテクチャを改善した。MeshLRMのNeRF初期化は、低解像度と高解像度の画像を順次学習することで行われる。この新しいLRM学習戦略により、大幅に高速な収束が可能となり、より少ない計算量でより高い品質を実現する。本手法は、スパースビュー入力からのメッシュ再構築において最先端の性能を達成し、テキストから3Dや単一画像から3D生成など、多くの下流アプリケーションにも対応する。プロジェクトページ：https://sarahweiii.github.io/meshlrm/

English

We propose MeshLRM, a novel LRM-based approach that can reconstruct a high-quality mesh from merely four input images in less than one second. Different from previous large reconstruction models (LRMs) that focus on NeRF-based reconstruction, MeshLRM incorporates differentiable mesh extraction and rendering within the LRM framework. This allows for end-to-end mesh reconstruction by fine-tuning a pre-trained NeRF LRM with mesh rendering. Moreover, we improve the LRM architecture by simplifying several complex designs in previous LRMs. MeshLRM's NeRF initialization is sequentially trained with low- and high-resolution images; this new LRM training strategy enables significantly faster convergence and thereby leads to better quality with less compute. Our approach achieves state-of-the-art mesh reconstruction from sparse-view inputs and also allows for many downstream applications, including text-to-3D and single-image-to-3D generation. Project page: https://sarahweiii.github.io/meshlrm/