ZeroShape: Ricostruzione di Forme Zero-shot Basata su Regressione

ZeroShape: Regression-based Zero-shot Shape Reconstruction

December 21, 2023

Autori: Zixuan Huang, Stefan Stojanov, Anh Thai, Varun Jampani, James M. Rehg

cs.AI

Abstract

Studiamo il problema della ricostruzione 3D zero-shot da singola immagine. I lavori recenti apprendono la ricostruzione zero-shot delle forme attraverso la modellazione generativa di asset 3D, ma questi modelli sono computazionalmente costosi sia durante l'addestramento che l'inferenza. Al contrario, l'approccio tradizionale a questo problema è basato sulla regressione, dove modelli deterministici vengono addestrati per regredire direttamente la forma dell'oggetto. Tali metodi di regressione possiedono un'efficienza computazionale molto maggiore rispetto ai metodi generativi. Ciò solleva una domanda naturale: la modellazione generativa è necessaria per ottenere alte prestazioni, o, al contrario, gli approcci basati sulla regressione sono ancora competitivi? Per rispondere a questo, progettiamo un modello robusto basato sulla regressione, chiamato ZeroShape, basandoci sui risultati convergenti in questo campo e su una nuova intuizione. Curiamo inoltre un ampio benchmark di valutazione del mondo reale, con oggetti provenienti da tre diversi dataset 3D reali. Questo benchmark di valutazione è più diversificato e di un ordine di grandezza più grande rispetto a quello utilizzato dai lavori precedenti per valutare quantitativamente i loro modelli, con l'obiettivo di ridurre la varianza di valutazione nel nostro campo. Mostriamo che ZeroShape non solo raggiunge prestazioni superiori rispetto ai metodi all'avanguardia, ma dimostra anche un'efficienza computazionale e dei dati significativamente maggiore.

English

We study the problem of single-image zero-shot 3D shape reconstruction. Recent works learn zero-shot shape reconstruction through generative modeling of 3D assets, but these models are computationally expensive at train and inference time. In contrast, the traditional approach to this problem is regression-based, where deterministic models are trained to directly regress the object shape. Such regression methods possess much higher computational efficiency than generative methods. This raises a natural question: is generative modeling necessary for high performance, or conversely, are regression-based approaches still competitive? To answer this, we design a strong regression-based model, called ZeroShape, based on the converging findings in this field and a novel insight. We also curate a large real-world evaluation benchmark, with objects from three different real-world 3D datasets. This evaluation benchmark is more diverse and an order of magnitude larger than what prior works use to quantitatively evaluate their models, aiming at reducing the evaluation variance in our field. We show that ZeroShape not only achieves superior performance over state-of-the-art methods, but also demonstrates significantly higher computational and data efficiency.