FABRIC: 반복적 피드백을 통한 확산 모델의 개인화

FABRIC: Personalizing Diffusion Models with Iterative Feedback

July 19, 2023

저자: Dimitri von Rütte, Elisabetta Fedele, Jonathan Thomm, Lukas Wolf

cs.AI

초록

시각 콘텐츠 생성이 기계 학습에 의해 점점 더 주도되는 시대에서, 생성 모델에 인간 피드백을 통합하는 것은 사용자 경험과 출력 품질을 향상시키는 중요한 기회를 제공한다. 본 연구는 확산 기반 텍스트-이미지 모델의 생성 과정에 반복적인 인간 피드백을 통합하기 위한 전략을 탐구한다. 우리는 가장 널리 사용되는 아키텍처에 존재하는 자기 주의(self-attention) 계층을 활용하여 피드백 이미지 집합에 기반한 확산 과정을 조건화하는, 다양한 인기 있는 확산 모델에 적용 가능한 학습이 필요 없는 접근 방식인 FABRIC을 제안한다. 우리의 접근 방식을 엄격하게 평가하기 위해, 인간 피드백을 통합한 생성 시각 모델의 성능을 정량화할 수 있는 강력한 메커니즘을 제공하는 포괄적인 평가 방법론을 소개한다. 우리는 반복적인 피드백을 통해 생성 결과가 개선됨을 철저한 분석을 통해 보여주며, 임의의 사용자 선호도를 암묵적으로 최적화한다. 이러한 연구 결과의 잠재적 응용 분야는 개인화된 콘텐츠 생성 및 맞춤화와 같은 분야로 확장될 수 있다.

English

In an era where visual content generation is increasingly driven by machine learning, the integration of human feedback into generative models presents significant opportunities for enhancing user experience and output quality. This study explores strategies for incorporating iterative human feedback into the generative process of diffusion-based text-to-image models. We propose FABRIC, a training-free approach applicable to a wide range of popular diffusion models, which exploits the self-attention layer present in the most widely used architectures to condition the diffusion process on a set of feedback images. To ensure a rigorous assessment of our approach, we introduce a comprehensive evaluation methodology, offering a robust mechanism to quantify the performance of generative visual models that integrate human feedback. We show that generation results improve over multiple rounds of iterative feedback through exhaustive analysis, implicitly optimizing arbitrary user preferences. The potential applications of these findings extend to fields such as personalized content creation and customization.