ZeroShape: Regressiegebaseerde Zero-shot Vormreconstructie

ZeroShape: Regression-based Zero-shot Shape Reconstruction

December 21, 2023

Auteurs: Zixuan Huang, Stefan Stojanov, Anh Thai, Varun Jampani, James M. Rehg

cs.AI

Samenvatting

We bestuderen het probleem van 3D-vormreconstructie met één afbeelding zonder voorafgaande training (zero-shot). Recente werken leren zero-shot vormreconstructie door middel van generatieve modellering van 3D-assets, maar deze modellen zijn rekenkundig duur tijdens zowel de training als de inferentie. Daarentegen is de traditionele aanpak van dit probleem gebaseerd op regressie, waarbij deterministische modellen worden getraind om de objectvorm direct te regresseren. Dergelijke regressiemethoden zijn veel rekenkundig efficiënter dan generatieve methoden. Dit roept een natuurlijke vraag op: is generatieve modellering noodzakelijk voor hoge prestaties, of zijn regressiegebaseerde benaderingen nog steeds concurrerend? Om dit te beantwoorden, ontwerpen we een sterk regressiegebaseerd model, genaamd ZeroShape, gebaseerd op convergerende bevindingen in dit veld en een nieuw inzicht. We stellen ook een grote evaluatiebenchmark samen met objecten uit drie verschillende real-world 3D-datasets. Deze evaluatiebenchmark is diverser en een orde van grootte groter dan wat eerdere werken gebruiken om hun modellen kwantitatief te evalueren, met als doel de evaluatievariantie in ons veld te verminderen. We tonen aan dat ZeroShape niet alleen superieure prestaties behaalt ten opzichte van state-of-the-art methoden, maar ook aanzienlijk hogere rekenkundige en data-efficiëntie demonstreert.

English

We study the problem of single-image zero-shot 3D shape reconstruction. Recent works learn zero-shot shape reconstruction through generative modeling of 3D assets, but these models are computationally expensive at train and inference time. In contrast, the traditional approach to this problem is regression-based, where deterministic models are trained to directly regress the object shape. Such regression methods possess much higher computational efficiency than generative methods. This raises a natural question: is generative modeling necessary for high performance, or conversely, are regression-based approaches still competitive? To answer this, we design a strong regression-based model, called ZeroShape, based on the converging findings in this field and a novel insight. We also curate a large real-world evaluation benchmark, with objects from three different real-world 3D datasets. This evaluation benchmark is more diverse and an order of magnitude larger than what prior works use to quantitatively evaluate their models, aiming at reducing the evaluation variance in our field. We show that ZeroShape not only achieves superior performance over state-of-the-art methods, but also demonstrates significantly higher computational and data efficiency.