FABRIC：反復的フィードバックによる拡散モデルのパーソナライズ

FABRIC: Personalizing Diffusion Models with Iterative Feedback

July 19, 2023

著者: Dimitri von Rütte, Elisabetta Fedele, Jonathan Thomm, Lukas Wolf

cs.AI

要旨

機械学習による視覚コンテンツ生成がますます主流となる時代において、生成モデルへの人間のフィードバックの統合は、ユーザー体験と出力品質の向上に大きな可能性を秘めています。本研究では、拡散ベースのテキストから画像への生成モデルにおいて、反復的な人間のフィードバックを生成プロセスに組み込む戦略を探求します。我々はFABRICを提案します。これは、広く使われているアーキテクチャに存在するセルフアテンション層を活用し、拡散プロセスを一連のフィードバック画像に条件付ける、トレーニング不要のアプローチです。本手法を厳密に評価するため、人間のフィードバックを統合した視覚生成モデルの性能を定量化する堅牢なメカニズムを提供する包括的な評価方法論を導入します。徹底的な分析を通じて、反復的なフィードバックを重ねることで生成結果が向上し、任意のユーザー選好を暗黙的に最適化することを示します。これらの知見の応用可能性は、パーソナライズされたコンテンツ作成やカスタマイズといった分野にまで広がります。

English

In an era where visual content generation is increasingly driven by machine learning, the integration of human feedback into generative models presents significant opportunities for enhancing user experience and output quality. This study explores strategies for incorporating iterative human feedback into the generative process of diffusion-based text-to-image models. We propose FABRIC, a training-free approach applicable to a wide range of popular diffusion models, which exploits the self-attention layer present in the most widely used architectures to condition the diffusion process on a set of feedback images. To ensure a rigorous assessment of our approach, we introduce a comprehensive evaluation methodology, offering a robust mechanism to quantify the performance of generative visual models that integrate human feedback. We show that generation results improve over multiple rounds of iterative feedback through exhaustive analysis, implicitly optimizing arbitrary user preferences. The potential applications of these findings extend to fields such as personalized content creation and customization.