TraDiffusion: 궤적 기반 훈련 없는 이미지 생성

TraDiffusion: Trajectory-Based Training-Free Image Generation

August 19, 2024

저자: Mingrui Wu, Oucheng Huang, Jiayi Ji, Jiale Li, Xinyue Cai, Huafeng Kuang, Jianzhuang Liu, Xiaoshuai Sun, Rongrong Ji

cs.AI

초록

본 연구에서는 훈련이 필요 없는 경로 기반 제어 가능한 T2I 접근 방식인 TraDiffusion을 제안합니다. 이 혁신적인 방법을 통해 사용자는 마우스 경로를 통해 이미지 생성을 손쉽게 안내할 수 있습니다. 정밀한 제어를 위해 우리는 거리 인식 에너지 함수를 설계하여 잠재 변수를 효과적으로 안내하여 생성의 초점이 경로로 정의된 영역 내에 있도록 보장합니다. 이 에너지 함수에는 생성을 지정된 경로에 가깝게 그리는 제어 함수와 경로로부터 먼 영역의 활동을 줄이는 이동 함수가 포함되어 있습니다. COCO 데이터셋에서의 포괄적인 실험과 질적 평가를 통해 결과는 TraDiffusion이 더 간단하고 자연스러운 이미지 제어를 용이하게 하는 것을 보여줍니다. 더불어 생성된 이미지 내에서 현저한 영역, 속성 및 관계를 조작할 수 있는 능력을 보여주며 임의 또는 향상된 경로에 기반한 시각적 입력을 함께 제시합니다.

English

In this work, we propose a training-free, trajectory-based controllable T2I approach, termed TraDiffusion. This novel method allows users to effortlessly guide image generation via mouse trajectories. To achieve precise control, we design a distance awareness energy function to effectively guide latent variables, ensuring that the focus of generation is within the areas defined by the trajectory. The energy function encompasses a control function to draw the generation closer to the specified trajectory and a movement function to diminish activity in areas distant from the trajectory. Through extensive experiments and qualitative assessments on the COCO dataset, the results reveal that TraDiffusion facilitates simpler, more natural image control. Moreover, it showcases the ability to manipulate salient regions, attributes, and relationships within the generated images, alongside visual input based on arbitrary or enhanced trajectories.