Phidias: Un modelo generativo para crear contenido 3D a partir de texto, imagen y condiciones 3D con Difusión Aumentada por Referencia.

Phidias: A Generative Model for Creating 3D Content from Text, Image, and 3D Conditions with Reference-Augmented Diffusion

September 17, 2024

Autores: Zhenwei Wang, Tengfei Wang, Zexin He, Gerhard Hancke, Ziwei Liu, Rynson W. H. Lau

cs.AI

Resumen

En la modelización 3D, los diseñadores suelen utilizar un modelo 3D existente como referencia para crear nuevos. Esta práctica ha inspirado el desarrollo de Phidias, un modelo generativo novedoso que utiliza difusión para la generación 3D aumentada por referencia. Dado una imagen, nuestro método aprovecha un modelo 3D de referencia recuperado o proporcionado por el usuario para guiar el proceso de generación, mejorando así la calidad de la generación, la capacidad de generalización y la controlabilidad. Nuestro modelo integra tres componentes clave: 1) meta-ControlNet que modula dinámicamente la fuerza de condicionamiento, 2) enrutamiento de referencia dinámico que mitiga el desalineamiento entre la imagen de entrada y la referencia 3D, y 3) aumentos de auto-referencia que permiten un entrenamiento auto-supervisado con un currículo progresivo. En conjunto, estos diseños resultan en una clara mejora sobre los métodos existentes. Phidias establece un marco unificado para la generación 3D utilizando texto, imagen y condiciones 3D con aplicaciones versátiles.

English

In 3D modeling, designers often use an existing 3D model as a reference to create new ones. This practice has inspired the development of Phidias, a novel generative model that uses diffusion for reference-augmented 3D generation. Given an image, our method leverages a retrieved or user-provided 3D reference model to guide the generation process, thereby enhancing the generation quality, generalization ability, and controllability. Our model integrates three key components: 1) meta-ControlNet that dynamically modulates the conditioning strength, 2) dynamic reference routing that mitigates misalignment between the input image and 3D reference, and 3) self-reference augmentations that enable self-supervised training with a progressive curriculum. Collectively, these designs result in a clear improvement over existing methods. Phidias establishes a unified framework for 3D generation using text, image, and 3D conditions with versatile applications.