ZeroShape: Regressionsbasierte Null-Shot-Formrekonstruktion

ZeroShape: Regression-based Zero-shot Shape Reconstruction

December 21, 2023

Autoren: Zixuan Huang, Stefan Stojanov, Anh Thai, Varun Jampani, James M. Rehg

cs.AI

Zusammenfassung

Wir untersuchen das Problem der 3D-Formrekonstruktion aus einem einzelnen Bild im Zero-Shot-Szenario. Aktuelle Arbeiten lernen die Zero-Shot-Formrekonstruktion durch generative Modellierung von 3D-Assets, doch diese Modelle sind sowohl im Training als auch bei der Inferenz rechenintensiv. Im Gegensatz dazu basiert der traditionelle Ansatz auf Regression, bei dem deterministische Modelle trainiert werden, um die Objektform direkt zu regressieren. Solche Regressionsmethoden sind deutlich recheneffizienter als generative Methoden. Dies wirft die naheliegende Frage auf: Ist generative Modellierung für hohe Leistung notwendig, oder sind regressionsbasierte Ansätze immer noch wettbewerbsfähig? Um dies zu beantworten, entwickeln wir ein leistungsstarkes regressionsbasiertes Modell namens ZeroShape, das auf den konvergierenden Erkenntnissen in diesem Bereich und einer neuartigen Einsicht basiert. Zudem stellen wir einen umfangreichen Evaluationsbenchmark aus der realen Welt zusammen, der Objekte aus drei verschiedenen realen 3D-Datensätzen enthält. Dieser Evaluationsbenchmark ist vielfältiger und um eine Größenordnung größer als diejenigen, die in früheren Arbeiten zur quantitativen Bewertung der Modelle verwendet wurden, mit dem Ziel, die Evaluationsvarianz in unserem Feld zu reduzieren. Wir zeigen, dass ZeroShape nicht nur eine überlegene Leistung gegenüber state-of-the-art Methoden erzielt, sondern auch eine deutlich höhere Rechen- und Dateneffizienz aufweist.

English

We study the problem of single-image zero-shot 3D shape reconstruction. Recent works learn zero-shot shape reconstruction through generative modeling of 3D assets, but these models are computationally expensive at train and inference time. In contrast, the traditional approach to this problem is regression-based, where deterministic models are trained to directly regress the object shape. Such regression methods possess much higher computational efficiency than generative methods. This raises a natural question: is generative modeling necessary for high performance, or conversely, are regression-based approaches still competitive? To answer this, we design a strong regression-based model, called ZeroShape, based on the converging findings in this field and a novel insight. We also curate a large real-world evaluation benchmark, with objects from three different real-world 3D datasets. This evaluation benchmark is more diverse and an order of magnitude larger than what prior works use to quantitatively evaluate their models, aiming at reducing the evaluation variance in our field. We show that ZeroShape not only achieves superior performance over state-of-the-art methods, but also demonstrates significantly higher computational and data efficiency.