TraDiffusion: Trajektoriebasierte trainingsfreie Bildgenerierung

TraDiffusion: Trajectory-Based Training-Free Image Generation

August 19, 2024

Autoren: Mingrui Wu, Oucheng Huang, Jiayi Ji, Jiale Li, Xinyue Cai, Huafeng Kuang, Jianzhuang Liu, Xiaoshuai Sun, Rongrong Ji

cs.AI

Zusammenfassung

In dieser Arbeit schlagen wir einen trainingsfreien, auf Trajektorien basierenden steuerbaren T2I-Ansatz namens TraDiffusion vor. Diese neuartige Methode ermöglicht es Benutzern, die Bildgenerierung mühelos über Maus-Trajektorien zu lenken. Um eine präzise Steuerung zu erreichen, entwerfen wir eine Distanzbewusstseins-Energiefunktion, um latente Variablen effektiv zu lenken und sicherzustellen, dass der Fokus der Generierung innerhalb der durch die Trajektorie definierten Bereiche liegt. Die Energiefunktion umfasst eine Steuerfunktion, um die Generierung näher an die spezifizierte Trajektorie heranzuführen, und eine Bewegungsfunktion, um die Aktivität in Bereichen fernab der Trajektorie zu verringern. Durch umfangreiche Experimente und qualitative Bewertungen am COCO-Datensatz zeigen die Ergebnisse, dass TraDiffusion eine einfachere, natürlichere Bildsteuerung ermöglicht. Darüber hinaus demonstriert sie die Fähigkeit, markante Regionen, Merkmale und Beziehungen innerhalb der generierten Bilder zu manipulieren, zusammen mit visuellen Eingaben basierend auf beliebigen oder verbesserten Trajektorien.

English

In this work, we propose a training-free, trajectory-based controllable T2I approach, termed TraDiffusion. This novel method allows users to effortlessly guide image generation via mouse trajectories. To achieve precise control, we design a distance awareness energy function to effectively guide latent variables, ensuring that the focus of generation is within the areas defined by the trajectory. The energy function encompasses a control function to draw the generation closer to the specified trajectory and a movement function to diminish activity in areas distant from the trajectory. Through extensive experiments and qualitative assessments on the COCO dataset, the results reveal that TraDiffusion facilitates simpler, more natural image control. Moreover, it showcases the ability to manipulate salient regions, attributes, and relationships within the generated images, alongside visual input based on arbitrary or enhanced trajectories.