Phidias: Un modello generativo per la creazione di contenuti 3D da testo, immagini e condizioni 3D con diffusione potenziata da riferimento.

Phidias: A Generative Model for Creating 3D Content from Text, Image, and 3D Conditions with Reference-Augmented Diffusion

September 17, 2024

Autori: Zhenwei Wang, Tengfei Wang, Zexin He, Gerhard Hancke, Ziwei Liu, Rynson W. H. Lau

cs.AI

Abstract

Nella modellazione 3D, i designer spesso utilizzano un modello 3D esistente come riferimento per creare nuovi modelli. Questa pratica ha ispirato lo sviluppo di Phidias, un nuovo modello generativo che utilizza la diffusione per la generazione 3D potenziata dal riferimento. Dato un'immagine, il nostro metodo sfrutta un modello 3D di riferimento recuperato o fornito dall'utente per guidare il processo di generazione, migliorando così la qualità della generazione, la capacità di generalizzazione e la controllabilità. Il nostro modello integra tre componenti chiave: 1) meta-ControlNet che modula dinamicamente la forza di condizionamento, 2) instradamento dinamico del riferimento che mitiga lo sbilanciamento tra l'immagine di input e il riferimento 3D, e 3) potenziamenti di auto-riferimento che consentono la formazione auto-supervisionata con un curriculum progressivo. Complessivamente, questi design portano a un chiaro miglioramento rispetto ai metodi esistenti. Phidias stabilisce un quadro unificato per la generazione 3D utilizzando testo, immagini e condizioni 3D con applicazioni versatili.

English

In 3D modeling, designers often use an existing 3D model as a reference to create new ones. This practice has inspired the development of Phidias, a novel generative model that uses diffusion for reference-augmented 3D generation. Given an image, our method leverages a retrieved or user-provided 3D reference model to guide the generation process, thereby enhancing the generation quality, generalization ability, and controllability. Our model integrates three key components: 1) meta-ControlNet that dynamically modulates the conditioning strength, 2) dynamic reference routing that mitigates misalignment between the input image and 3D reference, and 3) self-reference augmentations that enable self-supervised training with a progressive curriculum. Collectively, these designs result in a clear improvement over existing methods. Phidias establishes a unified framework for 3D generation using text, image, and 3D conditions with versatile applications.