ZeroShape: Reconstrução de Formas Zero-shot Baseada em Regressão

ZeroShape: Regression-based Zero-shot Shape Reconstruction

December 21, 2023

Autores: Zixuan Huang, Stefan Stojanov, Anh Thai, Varun Jampani, James M. Rehg

cs.AI

Resumo

Nós estudamos o problema de reconstrução 3D de formas a partir de uma única imagem em um cenário zero-shot. Trabalhos recentes aprendem a reconstrução de formas zero-shot por meio de modelagem generativa de ativos 3D, mas esses modelos são computacionalmente caros tanto no treinamento quanto na inferência. Em contraste, a abordagem tradicional para esse problema é baseada em regressão, onde modelos determinísticos são treinados para regredir diretamente a forma do objeto. Tais métodos de regressão possuem uma eficiência computacional muito maior do que os métodos generativos. Isso levanta uma questão natural: a modelagem generativa é necessária para alto desempenho, ou, inversamente, as abordagens baseadas em regressão ainda são competitivas? Para responder a isso, projetamos um modelo forte baseado em regressão, chamado ZeroShape, fundamentado nas descobertas convergentes neste campo e em uma nova percepção. Também criamos um grande benchmark de avaliação do mundo real, com objetos de três diferentes conjuntos de dados 3D reais. Esse benchmark de avaliação é mais diversificado e uma ordem de grandeza maior do que o utilizado por trabalhos anteriores para avaliar quantitativamente seus modelos, visando reduzir a variância de avaliação em nosso campo. Mostramos que o ZeroShape não apenas alcança desempenho superior em relação aos métodos state-of-the-art, mas também demonstra eficiência computacional e de dados significativamente maior.

English

We study the problem of single-image zero-shot 3D shape reconstruction. Recent works learn zero-shot shape reconstruction through generative modeling of 3D assets, but these models are computationally expensive at train and inference time. In contrast, the traditional approach to this problem is regression-based, where deterministic models are trained to directly regress the object shape. Such regression methods possess much higher computational efficiency than generative methods. This raises a natural question: is generative modeling necessary for high performance, or conversely, are regression-based approaches still competitive? To answer this, we design a strong regression-based model, called ZeroShape, based on the converging findings in this field and a novel insight. We also curate a large real-world evaluation benchmark, with objects from three different real-world 3D datasets. This evaluation benchmark is more diverse and an order of magnitude larger than what prior works use to quantitatively evaluate their models, aiming at reducing the evaluation variance in our field. We show that ZeroShape not only achieves superior performance over state-of-the-art methods, but also demonstrates significantly higher computational and data efficiency.