ZeroShape: 회귀 기반 제로샷 형태 재구성

초록

우리는 단일 이미지 기반 제로샷 3D 형태 복원 문제를 연구한다. 최근 연구들은 3D 자산의 생성 모델링을 통해 제로샷 형태 복원을 학습하지만, 이러한 모델들은 학습 및 추론 시 계산 비용이 높다. 반면, 이 문제에 대한 전통적인 접근 방식은 회귀 기반으로, 결정론적 모델을 훈련시켜 객체 형태를 직접 회귀한다. 이러한 회귀 방법은 생성 방법보다 훨씬 높은 계산 효율성을 갖는다. 이는 자연스럽게 다음과 같은 질문을 제기한다: 고성능을 위해 생성 모델링이 필요한가, 아니면 회귀 기반 접근 방식이 여전히 경쟁력이 있는가? 이를 답하기 위해, 우리는 이 분야의 수렴된 연구 결과와 새로운 통찰을 바탕으로 ZeroShape라는 강력한 회귀 기반 모델을 설계한다. 또한, 세 가지 다른 실제 3D 데이터셋의 객체로 구성된 대규모 실제 평가 벤치마크를 구축한다. 이 평가 벤치마크는 기존 연구들이 모델을 정량적으로 평가하는 데 사용한 것보다 더 다양하고 규모가 크며, 우리 분야의 평가 변동성을 줄이는 것을 목표로 한다. 우리는 ZeroShape가 최신 방법들을 능가하는 성능을 달성할 뿐만 아니라, 훨씬 높은 계산 및 데이터 효율성을 보여줌을 입증한다.

English

We study the problem of single-image zero-shot 3D shape reconstruction. Recent works learn zero-shot shape reconstruction through generative modeling of 3D assets, but these models are computationally expensive at train and inference time. In contrast, the traditional approach to this problem is regression-based, where deterministic models are trained to directly regress the object shape. Such regression methods possess much higher computational efficiency than generative methods. This raises a natural question: is generative modeling necessary for high performance, or conversely, are regression-based approaches still competitive? To answer this, we design a strong regression-based model, called ZeroShape, based on the converging findings in this field and a novel insight. We also curate a large real-world evaluation benchmark, with objects from three different real-world 3D datasets. This evaluation benchmark is more diverse and an order of magnitude larger than what prior works use to quantitatively evaluate their models, aiming at reducing the evaluation variance in our field. We show that ZeroShape not only achieves superior performance over state-of-the-art methods, but also demonstrates significantly higher computational and data efficiency.

ZeroShape: 회귀 기반 제로샷 형태 재구성

ZeroShape: Regression-based Zero-shot Shape Reconstruction

초록

Support