Flex3D: Генерация трехмерных изображений с применением гибкой модели восстановления и курирования входного представления.

Flex3D: Feed-Forward 3D Generation With Flexible Reconstruction Model And Input View Curation

October 1, 2024

Авторы: Junlin Han, Jianyuan Wang, Andrea Vedaldi, Philip Torr, Filippos Kokkinos

cs.AI

Аннотация

Генерация высококачественного 3D-контента из текста, одиночных изображений или разреженных видов изображений остается сложной задачей с широким спектром применения. Существующие методы обычно используют модели многовидовой диффузии для синтеза многовидовых изображений, за которыми следует процесс прямого прохода для 3D-реконструкции. Однако эти подходы часто ограничены небольшим и фиксированным количеством входных видов, что снижает их способность захватывать различные точки зрения и, что еще хуже, приводит к субоптимальным результатам генерации, если синтезированные виды имеют низкое качество. Для решения этих ограничений мы предлагаем Flex3D, новую двухэтапную структуру, способную использовать произвольное количество высококачественных входных видов. Первый этап состоит из конвейера генерации и курирования кандидатов вида. Мы используем тонко настроенную модель многовидовой диффузии изображений и модель диффузии видео для создания пула кандидатов вида, обеспечивая богатое представление целевого 3D-объекта. Затем конвейер выбора вида фильтрует эти виды на основе качества и согласованности, гарантируя, что для реконструкции используются только высококачественные и надежные виды. На втором этапе отфильтрованные виды подаются на вход Гибкой Модели Реконструкции (FlexRM), построенной на архитектуре трансформера, которая может эффективно обрабатывать произвольное количество входов. FlexRM напрямую выводит 3D-гауссовы точки, используя трехплоскостное представление, обеспечивая эффективную и детальную 3D-генерацию. Через обширное изучение стратегий проектирования и обучения мы оптимизируем FlexRM для достижения превосходной производительности как в задачах реконструкции, так и в задачах генерации. Наши результаты показывают, что Flex3D достигает передовой производительности, с победным показателем в пользовательском исследовании более 92% в задачах 3D-генерации по сравнению с несколькими последними моделями генерации 3D с прямым проходом.

English

Generating high-quality 3D content from text, single images, or sparse view images remains a challenging task with broad applications.Existing methods typically employ multi-view diffusion models to synthesize multi-view images, followed by a feed-forward process for 3D reconstruction. However, these approaches are often constrained by a small and fixed number of input views, limiting their ability to capture diverse viewpoints and, even worse, leading to suboptimal generation results if the synthesized views are of poor quality. To address these limitations, we propose Flex3D, a novel two-stage framework capable of leveraging an arbitrary number of high-quality input views. The first stage consists of a candidate view generation and curation pipeline. We employ a fine-tuned multi-view image diffusion model and a video diffusion model to generate a pool of candidate views, enabling a rich representation of the target 3D object. Subsequently, a view selection pipeline filters these views based on quality and consistency, ensuring that only the high-quality and reliable views are used for reconstruction. In the second stage, the curated views are fed into a Flexible Reconstruction Model (FlexRM), built upon a transformer architecture that can effectively process an arbitrary number of inputs. FlemRM directly outputs 3D Gaussian points leveraging a tri-plane representation, enabling efficient and detailed 3D generation. Through extensive exploration of design and training strategies, we optimize FlexRM to achieve superior performance in both reconstruction and generation tasks. Our results demonstrate that Flex3D achieves state-of-the-art performance, with a user study winning rate of over 92% in 3D generation tasks when compared to several of the latest feed-forward 3D generative models.