TraDiffusion: 軌跡ベースの学習不要な画像生成

TraDiffusion: Trajectory-Based Training-Free Image Generation

August 19, 2024

著者: Mingrui Wu, Oucheng Huang, Jiayi Ji, Jiale Li, Xinyue Cai, Huafeng Kuang, Jianzhuang Liu, Xiaoshuai Sun, Rongrong Ji

cs.AI

要旨

本研究では、トレーニング不要な軌道ベースの制御可能なT2I（テキストから画像生成）アプローチ「TraDiffusion」を提案します。この新しい手法により、ユーザーはマウスの軌跡を通じて簡単に画像生成をガイドすることができます。正確な制御を実現するため、潜在変数を効果的に誘導する距離認識エネルギー関数を設計し、生成の焦点が軌跡で定義された領域内に留まるようにします。このエネルギー関数は、指定された軌道に生成を近づけるための制御関数と、軌道から遠い領域での活動を減らすための移動関数を含んでいます。COCOデータセットを用いた広範な実験と質的評価を通じて、TraDiffusionがよりシンプルで自然な画像制御を可能にすることが明らかになりました。さらに、生成画像内の顕著な領域、属性、関係を操作する能力と、任意または強化された軌道に基づく視覚的入力を示しています。

English

In this work, we propose a training-free, trajectory-based controllable T2I approach, termed TraDiffusion. This novel method allows users to effortlessly guide image generation via mouse trajectories. To achieve precise control, we design a distance awareness energy function to effectively guide latent variables, ensuring that the focus of generation is within the areas defined by the trajectory. The energy function encompasses a control function to draw the generation closer to the specified trajectory and a movement function to diminish activity in areas distant from the trajectory. Through extensive experiments and qualitative assessments on the COCO dataset, the results reveal that TraDiffusion facilitates simpler, more natural image control. Moreover, it showcases the ability to manipulate salient regions, attributes, and relationships within the generated images, alongside visual input based on arbitrary or enhanced trajectories.