Apprendimento di Parole 3D Continue per la Generazione di Immagini da Testo
Learning Continuous 3D Words for Text-to-Image Generation
February 13, 2024
Autori: Ta-Ying Cheng, Matheus Gadelha, Thibault Groueix, Matthew Fisher, Radomir Mech, Andrew Markham, Niki Trigoni
cs.AI
Abstract
Gli attuali controlli sui modelli di diffusione (ad esempio, tramite testo o ControlNet) per la generazione di immagini non sono sufficienti per riconoscere attributi astratti e continui come la direzione dell'illuminazione o i cambiamenti di forma non rigidi. In questo articolo, presentiamo un approccio che consente agli utenti dei modelli di testo-immagine di avere un controllo fine su diversi attributi di un'immagine. Lo facciamo progettando speciali set di token di input che possono essere trasformati in modo continuo, che chiamiamo "Parole 3D Continue". Questi attributi possono, ad esempio, essere rappresentati come slider e applicati insieme a prompt testuali per un controllo dettagliato sulla generazione delle immagini. Utilizzando solo una singola mesh e un motore di rendering, dimostriamo che il nostro approccio può essere adottato per fornire un controllo continuo dell'utente su diversi attributi consapevoli della 3D, tra cui l'illuminazione in base all'ora del giorno, l'orientamento delle ali degli uccelli, l'effetto dollyzoom e le pose degli oggetti. Il nostro metodo è in grado di condizionare la creazione di immagini con più Parole 3D Continue e descrizioni testuali simultaneamente, senza aggiungere alcun sovraccarico al processo generativo. Pagina del progetto: https://ttchengab.github.io/continuous_3d_words
English
Current controls over diffusion models (e.g., through text or ControlNet) for
image generation fall short in recognizing abstract, continuous attributes like
illumination direction or non-rigid shape change. In this paper, we present an
approach for allowing users of text-to-image models to have fine-grained
control of several attributes in an image. We do this by engineering special
sets of input tokens that can be transformed in a continuous manner -- we call
them Continuous 3D Words. These attributes can, for example, be represented as
sliders and applied jointly with text prompts for fine-grained control over
image generation. Given only a single mesh and a rendering engine, we show that
our approach can be adopted to provide continuous user control over several
3D-aware attributes, including time-of-day illumination, bird wing orientation,
dollyzoom effect, and object poses. Our method is capable of conditioning image
creation with multiple Continuous 3D Words and text descriptions simultaneously
while adding no overhead to the generative process. Project Page:
https://ttchengab.github.io/continuous_3d_words