TraDiffusion: Geração de Imagens Baseada em Trajetória sem Treinamento

TraDiffusion: Trajectory-Based Training-Free Image Generation

August 19, 2024

Autores: Mingrui Wu, Oucheng Huang, Jiayi Ji, Jiale Li, Xinyue Cai, Huafeng Kuang, Jianzhuang Liu, Xiaoshuai Sun, Rongrong Ji

cs.AI

Resumo

Neste trabalho, propomos uma abordagem T2I controlável baseada em trajetória e sem treinamento, denominada TraDiffusion. Este método inovador permite aos usuários guiar facilmente a geração de imagens por meio de trajetórias do mouse. Para obter controle preciso, projetamos uma função de energia de consciência de distância para guiar efetivamente variáveis latentes, garantindo que o foco da geração esteja dentro das áreas definidas pela trajetória. A função de energia engloba uma função de controle para aproximar a geração da trajetória especificada e uma função de movimento para diminuir a atividade em áreas distantes da trajetória. Através de experimentos extensivos e avaliações qualitativas no conjunto de dados COCO, os resultados revelam que o TraDiffusion facilita um controle de imagem mais simples e natural. Além disso, ele demonstra a capacidade de manipular regiões salientes, atributos e relacionamentos dentro das imagens geradas, juntamente com entradas visuais com base em trajetórias arbitrárias ou aprimoradas.

English

In this work, we propose a training-free, trajectory-based controllable T2I approach, termed TraDiffusion. This novel method allows users to effortlessly guide image generation via mouse trajectories. To achieve precise control, we design a distance awareness energy function to effectively guide latent variables, ensuring that the focus of generation is within the areas defined by the trajectory. The energy function encompasses a control function to draw the generation closer to the specified trajectory and a movement function to diminish activity in areas distant from the trajectory. Through extensive experiments and qualitative assessments on the COCO dataset, the results reveal that TraDiffusion facilitates simpler, more natural image control. Moreover, it showcases the ability to manipulate salient regions, attributes, and relationships within the generated images, alongside visual input based on arbitrary or enhanced trajectories.