Flex3D: Feed-Forward 3D Generierung mit flexiblem Rekonstruktionsmodell und Eingabebetrachtung

Flex3D: Feed-Forward 3D Generation With Flexible Reconstruction Model And Input View Curation

October 1, 2024

Autoren: Junlin Han, Jianyuan Wang, Andrea Vedaldi, Philip Torr, Filippos Kokkinos

cs.AI

Zusammenfassung

Die Generierung hochwertiger 3D-Inhalte aus Text, Einzelbildern oder spärlichen Ansichten bleibt eine anspruchsvolle Aufgabe mit breiten Anwendungen. Bestehende Methoden verwenden in der Regel Mehransichts-Diffusionsmodelle, um Mehransichtsbilder zu synthetisieren, gefolgt von einem Feedforward-Prozess für die 3D-Rekonstruktion. Diese Ansätze sind jedoch häufig durch eine geringe und feste Anzahl von Eingangsansichten eingeschränkt, was ihre Fähigkeit zur Erfassung verschiedener Blickwinkel begrenzt und im schlimmsten Fall zu suboptimalen Generierungsergebnissen führt, wenn die synthetisierten Ansichten von schlechter Qualität sind. Um diese Einschränkungen zu überwinden, schlagen wir Flex3D vor, ein neuartiges Zwei-Stufen-Framework, das in der Lage ist, eine beliebige Anzahl hochwertiger Eingangsansichten zu nutzen. Die erste Stufe besteht aus einem Kandidatenansichts-Generierungs- und Kuratierungs-Pipeline. Wir verwenden ein feinabgestimmtes Mehransichtsbild-Diffusionsmodell und ein Video-Diffusionsmodell, um einen Pool von Kandidatenansichten zu generieren, was eine umfassende Darstellung des Ziel-3D-Objekts ermöglicht. Anschließend filtert eine Ansichtsauswahl-Pipeline diese Ansichten basierend auf Qualität und Konsistenz, um sicherzustellen, dass nur die hochwertigen und zuverlässigen Ansichten für die Rekonstruktion verwendet werden. In der zweiten Stufe werden die kuratierten Ansichten in ein Flexibles Rekonstruktionsmodell (FlexRM) eingespeist, das auf einer Transformer-Architektur aufbaut, die effektiv eine beliebige Anzahl von Eingaben verarbeiten kann. FlexRM gibt direkt 3D-Gaußpunkte aus, die eine Triplane-Repräsentation nutzen und eine effiziente und detaillierte 3D-Generierung ermöglichen. Durch umfangreiche Erkundung von Design- und Schulungsstrategien optimieren wir FlexRM, um eine überlegene Leistung sowohl bei Rekonstruktions- als auch bei Generierungsaufgaben zu erreichen. Unsere Ergebnisse zeigen, dass Flex3D eine Spitzenleistung erzielt, mit einer Gewinnrate von über 92% in 3D-Generierungsaufgaben bei Benutzerstudien im Vergleich zu mehreren der neuesten Feedforward-3D-generativen Modelle.

English

Generating high-quality 3D content from text, single images, or sparse view images remains a challenging task with broad applications.Existing methods typically employ multi-view diffusion models to synthesize multi-view images, followed by a feed-forward process for 3D reconstruction. However, these approaches are often constrained by a small and fixed number of input views, limiting their ability to capture diverse viewpoints and, even worse, leading to suboptimal generation results if the synthesized views are of poor quality. To address these limitations, we propose Flex3D, a novel two-stage framework capable of leveraging an arbitrary number of high-quality input views. The first stage consists of a candidate view generation and curation pipeline. We employ a fine-tuned multi-view image diffusion model and a video diffusion model to generate a pool of candidate views, enabling a rich representation of the target 3D object. Subsequently, a view selection pipeline filters these views based on quality and consistency, ensuring that only the high-quality and reliable views are used for reconstruction. In the second stage, the curated views are fed into a Flexible Reconstruction Model (FlexRM), built upon a transformer architecture that can effectively process an arbitrary number of inputs. FlemRM directly outputs 3D Gaussian points leveraging a tri-plane representation, enabling efficient and detailed 3D generation. Through extensive exploration of design and training strategies, we optimize FlexRM to achieve superior performance in both reconstruction and generation tasks. Our results demonstrate that Flex3D achieves state-of-the-art performance, with a user study winning rate of over 92% in 3D generation tasks when compared to several of the latest feed-forward 3D generative models.