ZeroShape: Reconstrucción de Formas Cero-Shot Basada en Regresión

ZeroShape: Regression-based Zero-shot Shape Reconstruction

December 21, 2023

Autores: Zixuan Huang, Stefan Stojanov, Anh Thai, Varun Jampani, James M. Rehg

cs.AI

Resumen

Estudiamos el problema de la reconstrucción 3D de formas con una sola imagen y enfoque zero-shot. Trabajos recientes abordan la reconstrucción zero-shot de formas mediante modelado generativo de activos 3D, pero estos modelos son computacionalmente costosos tanto en el entrenamiento como en la inferencia. En contraste, el enfoque tradicional para este problema se basa en regresión, donde modelos determinísticos son entrenados para predecir directamente la forma del objeto. Estos métodos de regresión poseen una eficiencia computacional mucho mayor que los métodos generativos. Esto plantea una pregunta natural: ¿es necesario el modelado generativo para obtener un alto rendimiento, o, por el contrario, los enfoques basados en regresión siguen siendo competitivos? Para responder esto, diseñamos un modelo robusto basado en regresión, llamado ZeroShape, fundamentado en hallazgos convergentes en este campo y una nueva perspectiva. Además, creamos un amplio benchmark de evaluación en el mundo real, con objetos provenientes de tres conjuntos de datos 3D diferentes. Este benchmark de evaluación es más diverso y un orden de magnitud más grande que los utilizados en trabajos previos para evaluar cuantitativamente sus modelos, con el objetivo de reducir la varianza en la evaluación en nuestro campo. Demostramos que ZeroShape no solo logra un rendimiento superior frente a los métodos más avanzados, sino que también exhibe una eficiencia computacional y de datos significativamente mayor.

English

We study the problem of single-image zero-shot 3D shape reconstruction. Recent works learn zero-shot shape reconstruction through generative modeling of 3D assets, but these models are computationally expensive at train and inference time. In contrast, the traditional approach to this problem is regression-based, where deterministic models are trained to directly regress the object shape. Such regression methods possess much higher computational efficiency than generative methods. This raises a natural question: is generative modeling necessary for high performance, or conversely, are regression-based approaches still competitive? To answer this, we design a strong regression-based model, called ZeroShape, based on the converging findings in this field and a novel insight. We also curate a large real-world evaluation benchmark, with objects from three different real-world 3D datasets. This evaluation benchmark is more diverse and an order of magnitude larger than what prior works use to quantitatively evaluate their models, aiming at reducing the evaluation variance in our field. We show that ZeroShape not only achieves superior performance over state-of-the-art methods, but also demonstrates significantly higher computational and data efficiency.