MeshLRM: 고품질 메쉬 생성을 위한 대규모 재구성 모델

MeshLRM: Large Reconstruction Model for High-Quality Mesh

April 18, 2024

저자: Xinyue Wei, Kai Zhang, Sai Bi, Hao Tan, Fujun Luan, Valentin Deschaintre, Kalyan Sunkavalli, Hao Su, Zexiang Xu

cs.AI

초록

우리는 단 4장의 입력 이미지로부터 1초 이내에 고품질 메시를 재구성할 수 있는 새로운 LRM 기반 접근법인 MeshLRM을 제안한다. 기존의 NeRF 기반 재구성에 초점을 맞춘 대형 재구성 모델(LRMs)과 달리, MeshLRM은 LRM 프레임워크 내에서 미분 가능한 메시 추출 및 렌더링을 통합한다. 이를 통해 사전 훈련된 NeRF LRM을 메시 렌더링으로 미세 조정함으로써 종단 간(end-to-end) 메시 재구성이 가능해진다. 또한, 우리는 이전 LRM들의 복잡한 설계를 단순화하여 LRM 아키텍처를 개선했다. MeshLRM의 NeRF 초기화는 저해상도 및 고해상도 이미지로 순차적으로 훈련되며, 이러한 새로운 LRM 훈련 전략은 훨씬 빠른 수렴을 가능하게 하여 더 적은 계산량으로 더 나은 품질을 달성한다. 우리의 접근법은 희소 뷰(sparse-view) 입력에서 최첨단 메시 재구성을 달성할 뿐만 아니라, 텍스트-to-3D 및 단일 이미지-to-3D 생성과 같은 다양한 다운스트림 애플리케이션을 가능하게 한다. 프로젝트 페이지: https://sarahweiii.github.io/meshlrm/

English

We propose MeshLRM, a novel LRM-based approach that can reconstruct a high-quality mesh from merely four input images in less than one second. Different from previous large reconstruction models (LRMs) that focus on NeRF-based reconstruction, MeshLRM incorporates differentiable mesh extraction and rendering within the LRM framework. This allows for end-to-end mesh reconstruction by fine-tuning a pre-trained NeRF LRM with mesh rendering. Moreover, we improve the LRM architecture by simplifying several complex designs in previous LRMs. MeshLRM's NeRF initialization is sequentially trained with low- and high-resolution images; this new LRM training strategy enables significantly faster convergence and thereby leads to better quality with less compute. Our approach achieves state-of-the-art mesh reconstruction from sparse-view inputs and also allows for many downstream applications, including text-to-3D and single-image-to-3D generation. Project page: https://sarahweiii.github.io/meshlrm/