TraDiffusion: Trajectoriegebaseerde, trainingsvrije beeldgeneratie

TraDiffusion: Trajectory-Based Training-Free Image Generation

August 19, 2024

Auteurs: Mingrui Wu, Oucheng Huang, Jiayi Ji, Jiale Li, Xinyue Cai, Huafeng Kuang, Jianzhuang Liu, Xiaoshuai Sun, Rongrong Ji

cs.AI

Samenvatting

In dit werk stellen we een trainingsvrije, trajectgebaseerde en controleerbare T2I-benadering voor, genaamd TraDiffusion. Deze nieuwe methode stelt gebruikers in staat moeiteloos beeldgeneratie te begeleiden via muistrajecten. Om precieze controle te bereiken, ontwerpen we een energie-functie met afstandsbewustzijn om latentie-variabelen effectief te begeleiden, waardoor ervoor wordt gezorgd dat de focus van de generatie binnen de door het traject gedefinieerde gebieden blijft. De energie-functie omvat een controlefunctie om de generatie dichter bij het gespecificeerde traject te brengen en een bewegingsfunctie om activiteit in gebieden ver van het traject te verminderen. Door uitgebreide experimenten en kwalitatieve evaluaties op de COCO-dataset tonen de resultaten aan dat TraDiffusion eenvoudigere en natuurlijkere beeldcontrole mogelijk maakt. Bovendien toont het de mogelijkheid om belangrijke regio's, attributen en relaties binnen de gegenereerde beelden te manipuleren, naast visuele input gebaseerd op willekeurige of versterkte trajecten.

English

In this work, we propose a training-free, trajectory-based controllable T2I approach, termed TraDiffusion. This novel method allows users to effortlessly guide image generation via mouse trajectories. To achieve precise control, we design a distance awareness energy function to effectively guide latent variables, ensuring that the focus of generation is within the areas defined by the trajectory. The energy function encompasses a control function to draw the generation closer to the specified trajectory and a movement function to diminish activity in areas distant from the trajectory. Through extensive experiments and qualitative assessments on the COCO dataset, the results reveal that TraDiffusion facilitates simpler, more natural image control. Moreover, it showcases the ability to manipulate salient regions, attributes, and relationships within the generated images, alongside visual input based on arbitrary or enhanced trajectories.