GRM: 효율적인 3D 재구성 및 생성을 위한 대규모 가우시안 재구성 모델

초록

우리는 희소 뷰 이미지에서 0.1초 내외로 3D 자산을 복원할 수 있는 대규모 재구성기인 GRM을 소개합니다. GRM은 피드포워드 트랜스포머 기반 모델로, 다중 뷰 정보를 효율적으로 통합하여 입력 픽셀을 픽셀 정렬 가우시안으로 변환합니다. 이 가우시안들은 역투영되어 장면을 나타내는 고밀도 분포의 3D 가우시안 집합을 생성합니다. 우리의 트랜스포머 아키텍처와 3D 가우시안의 사용은 확장 가능하고 효율적인 재구성 프레임워크를 가능하게 합니다. 광범위한 실험 결과는 우리의 방법이 재구성 품질과 효율성 측면에서 대안들보다 우수함을 입증합니다. 또한, 우리는 GRM을 기존의 다중 뷰 확산 모델과 통합하여 텍스트-투-3D 및 이미지-투-3D와 같은 생성 작업에서의 잠재력을 보여줍니다. 프로젝트 웹사이트는 https://justimyhxu.github.io/projects/grm/에서 확인할 수 있습니다.

English

We introduce GRM, a large-scale reconstructor capable of recovering a 3D asset from sparse-view images in around 0.1s. GRM is a feed-forward transformer-based model that efficiently incorporates multi-view information to translate the input pixels into pixel-aligned Gaussians, which are unprojected to create a set of densely distributed 3D Gaussians representing a scene. Together, our transformer architecture and the use of 3D Gaussians unlock a scalable and efficient reconstruction framework. Extensive experimental results demonstrate the superiority of our method over alternatives regarding both reconstruction quality and efficiency. We also showcase the potential of GRM in generative tasks, i.e., text-to-3D and image-to-3D, by integrating it with existing multi-view diffusion models. Our project website is at: https://justimyhxu.github.io/projects/grm/.

GRM: 효율적인 3D 재구성 및 생성을 위한 대규모 가우시안 재구성 모델

GRM: Large Gaussian Reconstruction Model for Efficient 3D Reconstruction and Generation

초록

Support