CRM: 컨볼루션 재구성을 통한 단일 이미지에서 3D 텍스처 메쉬 생성
CRM: Single Image to 3D Textured Mesh with Convolutional Reconstruction Model
March 8, 2024
저자: Zhengyi Wang, Yikai Wang, Yifei Chen, Chendong Xiang, Shuo Chen, Dajiang Yu, Chongxuan Li, Hang Su, Jun Zhu
cs.AI
초록
Large Reconstruction Model(LRM)과 같은 피드포워드(feed-forward) 3D 생성 모델은 탁월한 생성 속도를 보여주었습니다. 그러나 트랜스포머(transformer) 기반 방법론은 아키텍처 내에서 트라이플레인(triplane) 구성 요소의 기하학적 사전 정보(geometric priors)를 활용하지 않아, 제한된 3D 데이터 크기와 느린 학습 속도로 인해 최적의 품질을 달성하지 못하는 경우가 많습니다. 본 연구에서는 고해상도 피드포워드 단일 이미지-to-3D 생성 모델인 Convolutional Reconstruction Model(CRM)을 제안합니다. 희소한 3D 데이터로 인한 한계를 인식하고, 네트워크 설계에 기하학적 사전 정보를 통합할 필요성을 강조합니다. CRM은 트라이플레인의 시각화가 6개의 직교 투영 이미지(orthographic images) 간의 공간적 대응 관계를 보인다는 핵심 관찰에 기반합니다. 먼저, 단일 입력 이미지로부터 6개의 직교 투영 이미지를 생성한 후, 이러한 이미지를 컨볼루셔널 U-Net(convolutional U-Net)에 입력하여 강력한 픽셀 수준 정렬 능력과 높은 대역폭을 활용해 고해상도 트라이플레인을 생성합니다. CRM은 또한 기하학적 표현으로 Flexicubes를 사용하여 텍스처가 적용된 메시(textured mesh)에 대한 직접적인 종단간(end-to-end) 최적화를 용이하게 합니다. 전반적으로, 우리의 모델은 테스트 시간 최적화 없이도 단 10초 만에 이미지로부터 고해상도의 텍스처가 적용된 메시를 제공합니다.
English
Feed-forward 3D generative models like the Large Reconstruction Model (LRM)
have demonstrated exceptional generation speed. However, the transformer-based
methods do not leverage the geometric priors of the triplane component in their
architecture, often leading to sub-optimal quality given the limited size of 3D
data and slow training. In this work, we present the Convolutional
Reconstruction Model (CRM), a high-fidelity feed-forward single image-to-3D
generative model. Recognizing the limitations posed by sparse 3D data, we
highlight the necessity of integrating geometric priors into network design.
CRM builds on the key observation that the visualization of triplane exhibits
spatial correspondence of six orthographic images. First, it generates six
orthographic view images from a single input image, then feeds these images
into a convolutional U-Net, leveraging its strong pixel-level alignment
capabilities and significant bandwidth to create a high-resolution triplane.
CRM further employs Flexicubes as geometric representation, facilitating direct
end-to-end optimization on textured meshes. Overall, our model delivers a
high-fidelity textured mesh from an image in just 10 seconds, without any
test-time optimization.