One-2-3-45: Преобразование любого одиночного изображения в 3D-сетку за 45 секунд без оптимизации для каждой формы

One-2-3-45: Any Single Image to 3D Mesh in 45 Seconds without Per-Shape Optimization

June 29, 2023

Авторы: Minghua Liu, Chao Xu, Haian Jin, Linghao Chen, Mukund Varma T, Zexiang Xu, Hao Su

cs.AI

Аннотация

Реконструкция 3D-модели по одному изображению является важной, но сложной задачей, требующей глубоких знаний о нашем естественном мире. Многие существующие методы решают эту проблему путем оптимизации нейронного поля излучения под руководством 2D-диффузионных моделей, однако они страдают от длительного времени оптимизации, несоответствия 3D-результатов и плохой геометрии. В данной работе мы предлагаем новый метод, который принимает на вход одно изображение любого объекта и генерирует полную 360-градусную текстурированную 3D-сетку за один прямой проход. Получив одно изображение, мы сначала используем 2D-диффузионную модель с условием на вид, Zero123, для генерации многовидовых изображений для входного вида, а затем стремимся поднять их в 3D-пространство. Поскольку традиционные методы реконструкции сталкиваются с проблемами несоответствия многовидовых предсказаний, мы строим наш модуль 3D-реконструкции на основе обобщаемого метода нейронной реконструкции поверхности, основанного на SDF, и предлагаем несколько ключевых стратегий обучения, чтобы обеспечить реконструкцию 360-градусных сеток. Без затратных оптимизаций наш метод реконструирует 3D-формы за значительно меньшее время, чем существующие методы. Более того, наш метод обеспечивает лучшую геометрию, генерирует более согласованные 3D-результаты и точнее соответствует входному изображению. Мы оцениваем наш подход как на синтетических данных, так и на реальных изображениях и демонстрируем его превосходство как по качеству сетки, так и по времени выполнения. Кроме того, наш подход может легко поддерживать задачу текстового описания в 3D, интегрируясь с готовыми текстово-изобразительными диффузионными моделями.

English

Single image 3D reconstruction is an important but challenging task that requires extensive knowledge of our natural world. Many existing methods solve this problem by optimizing a neural radiance field under the guidance of 2D diffusion models but suffer from lengthy optimization time, 3D inconsistency results, and poor geometry. In this work, we propose a novel method that takes a single image of any object as input and generates a full 360-degree 3D textured mesh in a single feed-forward pass. Given a single image, we first use a view-conditioned 2D diffusion model, Zero123, to generate multi-view images for the input view, and then aim to lift them up to 3D space. Since traditional reconstruction methods struggle with inconsistent multi-view predictions, we build our 3D reconstruction module upon an SDF-based generalizable neural surface reconstruction method and propose several critical training strategies to enable the reconstruction of 360-degree meshes. Without costly optimizations, our method reconstructs 3D shapes in significantly less time than existing methods. Moreover, our method favors better geometry, generates more 3D consistent results, and adheres more closely to the input image. We evaluate our approach on both synthetic data and in-the-wild images and demonstrate its superiority in terms of both mesh quality and runtime. In addition, our approach can seamlessly support the text-to-3D task by integrating with off-the-shelf text-to-image diffusion models.