ZeroShape: Реконструкция формы на основе регрессии в условиях обучения с нулевым количеством примеров

ZeroShape: Regression-based Zero-shot Shape Reconstruction

December 21, 2023

Авторы: Zixuan Huang, Stefan Stojanov, Anh Thai, Varun Jampani, James M. Rehg

cs.AI

Аннотация

Мы исследуем задачу реконструкции 3D-формы по одному изображению в условиях нулевого сэмплинга (zero-shot). Современные работы изучают реконструкцию формы через генеративное моделирование 3D-объектов, однако такие модели требуют значительных вычислительных ресурсов как на этапе обучения, так и на этапе вывода. В отличие от этого, традиционный подход к данной проблеме основан на регрессии, где детерминированные модели обучаются для прямого предсказания формы объекта. Такие регрессионные методы обладают значительно более высокой вычислительной эффективностью по сравнению с генеративными. Это поднимает естественный вопрос: необходимо ли генеративное моделирование для достижения высокой производительности, или, напротив, регрессионные подходы остаются конкурентоспособными? Чтобы ответить на этот вопрос, мы разработали мощную регрессионную модель под названием ZeroShape, основанную на консолидированных результатах в данной области и новом инсайте. Мы также создали крупный эталонный набор данных для оценки на основе реальных объектов из трех различных наборов 3D-данных. Этот набор данных более разнообразен и на порядок больше, чем те, которые использовались в предыдущих работах для количественной оценки моделей, что позволяет снизить дисперсию оценки в нашей области. Мы показываем, что ZeroShape не только достигает превосходной производительности по сравнению с современными методами, но и демонстрирует значительно более высокую вычислительную и ресурсную эффективность.

English

We study the problem of single-image zero-shot 3D shape reconstruction. Recent works learn zero-shot shape reconstruction through generative modeling of 3D assets, but these models are computationally expensive at train and inference time. In contrast, the traditional approach to this problem is regression-based, where deterministic models are trained to directly regress the object shape. Such regression methods possess much higher computational efficiency than generative methods. This raises a natural question: is generative modeling necessary for high performance, or conversely, are regression-based approaches still competitive? To answer this, we design a strong regression-based model, called ZeroShape, based on the converging findings in this field and a novel insight. We also curate a large real-world evaluation benchmark, with objects from three different real-world 3D datasets. This evaluation benchmark is more diverse and an order of magnitude larger than what prior works use to quantitatively evaluate their models, aiming at reducing the evaluation variance in our field. We show that ZeroShape not only achieves superior performance over state-of-the-art methods, but also demonstrates significantly higher computational and data efficiency.