Lernen kontinuierlicher 3D-Wörter für die Text-zu-Bild-Generierung

Learning Continuous 3D Words for Text-to-Image Generation

February 13, 2024

Autoren: Ta-Ying Cheng, Matheus Gadelha, Thibault Groueix, Matthew Fisher, Radomir Mech, Andrew Markham, Niki Trigoni

cs.AI

Zusammenfassung

Aktuelle Steuerungsmethoden für Diffusionsmodelle (z. B. durch Text oder ControlNet) bei der Bildgenerierung sind unzureichend, wenn es darum geht, abstrakte, kontinuierliche Attribute wie Beleuchtungsrichtung oder nicht-rigide Formveränderungen zu erkennen. In diesem Artikel präsentieren wir einen Ansatz, der Nutzern von Text-zu-Bild-Modellen eine fein abgestimmte Kontrolle über mehrere Attribute in einem Bild ermöglicht. Dies erreichen wir durch die Entwicklung spezieller Eingabe-Token, die auf kontinuierliche Weise transformiert werden können – wir nennen sie Continuous 3D Words. Diese Attribute können beispielsweise als Schieberegler dargestellt und gemeinsam mit Textanweisungen für eine präzise Steuerung der Bildgenerierung verwendet werden. Mit nur einem einzigen Mesh und einem Rendering-Engine zeigen wir, dass unser Ansatz genutzt werden kann, um eine kontinuierliche Benutzerkontrolle über mehrere 3D-bewusste Attribute zu bieten, darunter Tageszeitbeleuchtung, Flügelausrichtung von Vögeln, Dollyzoom-Effekt und Objektposen. Unsere Methode ermöglicht die Bedingung der Bildgenerierung mit mehreren Continuous 3D Words und Textbeschreibungen gleichzeitig, ohne zusätzlichen Aufwand für den Generierungsprozess zu verursachen. Projektseite: https://ttchengab.github.io/continuous_3d_words

English

Current controls over diffusion models (e.g., through text or ControlNet) for image generation fall short in recognizing abstract, continuous attributes like illumination direction or non-rigid shape change. In this paper, we present an approach for allowing users of text-to-image models to have fine-grained control of several attributes in an image. We do this by engineering special sets of input tokens that can be transformed in a continuous manner -- we call them Continuous 3D Words. These attributes can, for example, be represented as sliders and applied jointly with text prompts for fine-grained control over image generation. Given only a single mesh and a rendering engine, we show that our approach can be adopted to provide continuous user control over several 3D-aware attributes, including time-of-day illumination, bird wing orientation, dollyzoom effect, and object poses. Our method is capable of conditioning image creation with multiple Continuous 3D Words and text descriptions simultaneously while adding no overhead to the generative process. Project Page: https://ttchengab.github.io/continuous_3d_words