テキストから画像生成のための連続的3Dワードの学習

Learning Continuous 3D Words for Text-to-Image Generation

February 13, 2024

著者: Ta-Ying Cheng, Matheus Gadelha, Thibault Groueix, Matthew Fisher, Radomir Mech, Andrew Markham, Niki Trigoni

cs.AI

要旨

現在の拡散モデル（例えばテキストやControlNetを通じた）による画像生成の制御は、照明の方向や非剛体形状変化といった抽象的な連続属性を認識する点で不十分です。本論文では、テキストから画像を生成するモデルのユーザーが、画像内の複数の属性を細かく制御できる手法を提案します。これを実現するため、連続的に変換可能な特別な入力トークンのセットを設計しました。これを「Continuous 3D Words」と呼びます。これらの属性は、例えばスライダーとして表現され、テキストプロンプトと組み合わせて画像生成を細かく制御するために適用できます。単一のメッシュとレンダリングエンジンだけを前提として、本手法が時間帯に応じた照明、鳥の翼の向き、ドリーズーム効果、物体のポーズといった複数の3D認識属性に対する連続的なユーザー制御を提供できることを示します。本手法は、生成プロセスにオーバーヘッドを追加することなく、複数のContinuous 3D Wordsとテキスト記述を同時に条件付けして画像作成を行うことが可能です。プロジェクトページ: https://ttchengab.github.io/continuous_3d_words

English

Current controls over diffusion models (e.g., through text or ControlNet) for image generation fall short in recognizing abstract, continuous attributes like illumination direction or non-rigid shape change. In this paper, we present an approach for allowing users of text-to-image models to have fine-grained control of several attributes in an image. We do this by engineering special sets of input tokens that can be transformed in a continuous manner -- we call them Continuous 3D Words. These attributes can, for example, be represented as sliders and applied jointly with text prompts for fine-grained control over image generation. Given only a single mesh and a rendering engine, we show that our approach can be adopted to provide continuous user control over several 3D-aware attributes, including time-of-day illumination, bird wing orientation, dollyzoom effect, and object poses. Our method is capable of conditioning image creation with multiple Continuous 3D Words and text descriptions simultaneously while adding no overhead to the generative process. Project Page: https://ttchengab.github.io/continuous_3d_words