부드러운 에너지 가이던스: 주의 메커니즘의 에너지 곡률 감소를 통한 확산 모델 가이드

Smoothed Energy Guidance: Guiding Diffusion Models with Reduced Energy Curvature of Attention

August 1, 2024

저자: Susung Hong

cs.AI

초록

조건부 확산 모델은 분류자 없는 지도(CFG) 덕분에 다양한 도메인에서 고품질 샘플을 생성하며 시각적 콘텐츠 생성에서 놀라운 성공을 거두었습니다. 최근 무조건적 모델로 지도를 확장하려는 시도들은 경험적 기법에 의존하여 최적이 아닌 생성 품질과 의도하지 않은 효과를 초래했습니다. 본 연구에서는 자기 주의 메커니즘의 에너지 기반 관점을 활용하여 이미지 생성을 향상시키는 새로운 훈련 및 조건 없는 접근 방식인 Smoothed Energy Guidance(SEG)를 제안합니다. 자기 주의의 에너지를 정의함으로써, 우리는 주의의 에너지 지형의 곡률을 줄이는 방법을 도입하고 그 출력을 무조건적 예측으로 사용합니다. 실질적으로, 우리는 지도 스케일 매개변수를 고정한 상태에서 가우시안 커널 매개변수를 조정하여 에너지 지형의 곡률을 제어합니다. 또한, 토큰 수에 대한 이차 복잡성을 발생시키지 않으면서 전체 주의 가중치를 흐리게 하는 것과 동등한 쿼리 블러링 방법을 제시합니다. 우리의 실험에서 SEG는 품질과 부작용 감소 모두에서 파레토 개선을 달성했습니다. 코드는 https://github.com/SusungHong/SEG-SDXL에서 확인할 수 있습니다.

English

Conditional diffusion models have shown remarkable success in visual content generation, producing high-quality samples across various domains, largely due to classifier-free guidance (CFG). Recent attempts to extend guidance to unconditional models have relied on heuristic techniques, resulting in suboptimal generation quality and unintended effects. In this work, we propose Smoothed Energy Guidance (SEG), a novel training- and condition-free approach that leverages the energy-based perspective of the self-attention mechanism to enhance image generation. By defining the energy of self-attention, we introduce a method to reduce the curvature of the energy landscape of attention and use the output as the unconditional prediction. Practically, we control the curvature of the energy landscape by adjusting the Gaussian kernel parameter while keeping the guidance scale parameter fixed. Additionally, we present a query blurring method that is equivalent to blurring the entire attention weights without incurring quadratic complexity in the number of tokens. In our experiments, SEG achieves a Pareto improvement in both quality and the reduction of side effects. The code is available at https://github.com/SusungHong/SEG-SDXL.