Flex3D: 3D-generatie met feedforward en flexibel reconstructiemodel en inputweergavecuratie

Flex3D: Feed-Forward 3D Generation With Flexible Reconstruction Model And Input View Curation

October 1, 2024

Auteurs: Junlin Han, Jianyuan Wang, Andrea Vedaldi, Philip Torr, Filippos Kokkinos

cs.AI

Samenvatting

Het genereren van hoogwaardige 3D-inhoud uit tekst, enkele afbeeldingen of schaarse weergaveafbeeldingen blijft een uitdagende taak met brede toepassingen. Bestaande methoden maken doorgaans gebruik van multi-view diffusiemodellen om multi-view afbeeldingen te synthetiseren, gevolgd door een feedforward-proces voor 3D-reconstructie. Deze benaderingen worden echter vaak beperkt door een klein en vast aantal invoerweergaven, waardoor hun vermogen om diverse standpunten vast te leggen beperkt is en, nog erger, leidt tot suboptimale generatieresultaten als de gesynthetiseerde weergaven van slechte kwaliteit zijn. Om deze beperkingen aan te pakken, stellen we Flex3D voor, een nieuw tweefasenframework dat in staat is om een willekeurig aantal hoogwaardige invoerweergaven te benutten. De eerste fase bestaat uit een kandidaatweergavegeneratie- en curatiepijplijn. We maken gebruik van een fijn afgestemd multi-view afbeeldingsdiffusiemodel en een videodiffusiemodel om een pool van kandidaatweergaven te genereren, waardoor een rijke representatie van het doel-3D-object mogelijk is. Vervolgens filtert een weergaveselectiepijplijn deze weergaven op basis van kwaliteit en consistentie, waarbij ervoor wordt gezorgd dat alleen de hoogwaardige en betrouwbare weergaven worden gebruikt voor reconstructie. In de tweede fase worden de gecureerde weergaven ingevoerd in een Flexibel Reconstructiemodel (FlexRM), gebouwd op een transformer-architectuur die effectief een willekeurig aantal invoergegevens kan verwerken. FlexRM geeft rechtstreeks 3D-Gaussische punten uit met behulp van een drievlaksrepresentatie, waardoor efficiënte en gedetailleerde 3D-generatie mogelijk is. Door uitgebreid onderzoek naar ontwerp- en trainingsstrategieën optimaliseren we FlexRM om superieure prestaties te behalen in zowel reconstructie- als generatietaken. Onze resultaten tonen aan dat Flex3D state-of-the-art prestaties behaalt, met een gebruikersstudiewinpercentage van meer dan 92% in 3D-generatietaken in vergelijking met verschillende van de nieuwste feedforward 3D-generatiemodellen.

English

Generating high-quality 3D content from text, single images, or sparse view images remains a challenging task with broad applications.Existing methods typically employ multi-view diffusion models to synthesize multi-view images, followed by a feed-forward process for 3D reconstruction. However, these approaches are often constrained by a small and fixed number of input views, limiting their ability to capture diverse viewpoints and, even worse, leading to suboptimal generation results if the synthesized views are of poor quality. To address these limitations, we propose Flex3D, a novel two-stage framework capable of leveraging an arbitrary number of high-quality input views. The first stage consists of a candidate view generation and curation pipeline. We employ a fine-tuned multi-view image diffusion model and a video diffusion model to generate a pool of candidate views, enabling a rich representation of the target 3D object. Subsequently, a view selection pipeline filters these views based on quality and consistency, ensuring that only the high-quality and reliable views are used for reconstruction. In the second stage, the curated views are fed into a Flexible Reconstruction Model (FlexRM), built upon a transformer architecture that can effectively process an arbitrary number of inputs. FlemRM directly outputs 3D Gaussian points leveraging a tri-plane representation, enabling efficient and detailed 3D generation. Through extensive exploration of design and training strategies, we optimize FlexRM to achieve superior performance in both reconstruction and generation tasks. Our results demonstrate that Flex3D achieves state-of-the-art performance, with a user study winning rate of over 92% in 3D generation tasks when compared to several of the latest feed-forward 3D generative models.