ZeroShape : Reconstruction de formes par régression en mode zéro-shot

ZeroShape: Regression-based Zero-shot Shape Reconstruction

December 21, 2023

Auteurs: Zixuan Huang, Stefan Stojanov, Anh Thai, Varun Jampani, James M. Rehg

cs.AI

Résumé

Nous étudions le problème de la reconstruction 3D à partir d'une seule image en mode zéro-shot. Les travaux récents abordent la reconstruction de formes en zéro-shot par la modélisation générative d'actifs 3D, mais ces modèles sont coûteux en calculs lors de l'entraînement et de l'inférence. En revanche, l'approche traditionnelle de ce problème repose sur la régression, où des modèles déterministes sont entraînés à prédire directement la forme de l'objet. Ces méthodes de régression offrent une efficacité computationnelle bien supérieure à celle des méthodes génératives. Cela soulève une question naturelle : la modélisation générative est-elle nécessaire pour obtenir des performances élevées, ou, à l'inverse, les approches basées sur la régression restent-elles compétitives ? Pour y répondre, nous concevons un modèle robuste basé sur la régression, appelé ZeroShape, en nous appuyant sur les conclusions convergentes dans ce domaine et une nouvelle intuition. Nous constituons également un vaste benchmark d'évaluation en conditions réelles, comprenant des objets issus de trois ensembles de données 3D différents. Ce benchmark est plus diversifié et d'un ordre de grandeur plus grand que ceux utilisés dans les travaux précédents pour évaluer quantitativement les modèles, visant à réduire la variance d'évaluation dans notre domaine. Nous montrons que ZeroShape non seulement surpasse les méthodes de pointe en termes de performances, mais démontre également une efficacité computationnelle et en données significativement plus élevée.

English

We study the problem of single-image zero-shot 3D shape reconstruction. Recent works learn zero-shot shape reconstruction through generative modeling of 3D assets, but these models are computationally expensive at train and inference time. In contrast, the traditional approach to this problem is regression-based, where deterministic models are trained to directly regress the object shape. Such regression methods possess much higher computational efficiency than generative methods. This raises a natural question: is generative modeling necessary for high performance, or conversely, are regression-based approaches still competitive? To answer this, we design a strong regression-based model, called ZeroShape, based on the converging findings in this field and a novel insight. We also curate a large real-world evaluation benchmark, with objects from three different real-world 3D datasets. This evaluation benchmark is more diverse and an order of magnitude larger than what prior works use to quantitatively evaluate their models, aiming at reducing the evaluation variance in our field. We show that ZeroShape not only achieves superior performance over state-of-the-art methods, but also demonstrates significantly higher computational and data efficiency.