FABRIC: Personalisierung von Diffusionsmodellen durch iteratives Feedback

FABRIC: Personalizing Diffusion Models with Iterative Feedback

July 19, 2023

Autoren: Dimitri von Rütte, Elisabetta Fedele, Jonathan Thomm, Lukas Wolf

cs.AI

Zusammenfassung

In einer Ära, in der die Erstellung visueller Inhalte zunehmend durch maschinelles Lernen vorangetrieben wird, bietet die Integration von menschlichem Feedback in generative Modelle bedeutende Möglichkeiten, um die Benutzererfahrung und die Ausgabequalität zu verbessern. Diese Studie untersucht Strategien zur Einbindung iterativen menschlichen Feedbacks in den generativen Prozess von diffusionsbasierten Text-zu-Bild-Modellen. Wir stellen FABRIC vor, einen trainingsfreien Ansatz, der auf eine breite Palette populärer Diffusionsmodelle anwendbar ist und die in den am weitesten verbreiteten Architekturen vorhandene Self-Attention-Schicht nutzt, um den Diffusionsprozess anhand einer Reihe von Feedback-Bildern zu steuern. Um eine rigorose Bewertung unseres Ansatzes zu gewährleisten, führen wir eine umfassende Evaluationsmethodik ein, die einen robusten Mechanismus zur Quantifizierung der Leistung generativer visueller Modelle bietet, die menschliches Feedback integrieren. Wir zeigen, dass die Generierungsergebnisse durch mehrfache Runden iterativen Feedbacks verbessert werden, wobei beliebige Benutzerpräferenzen implizit optimiert werden. Die potenziellen Anwendungen dieser Erkenntnisse erstrecken sich auf Bereiche wie die personalisierte Inhaltserstellung und -anpassung.

English

In an era where visual content generation is increasingly driven by machine learning, the integration of human feedback into generative models presents significant opportunities for enhancing user experience and output quality. This study explores strategies for incorporating iterative human feedback into the generative process of diffusion-based text-to-image models. We propose FABRIC, a training-free approach applicable to a wide range of popular diffusion models, which exploits the self-attention layer present in the most widely used architectures to condition the diffusion process on a set of feedback images. To ensure a rigorous assessment of our approach, we introduce a comprehensive evaluation methodology, offering a robust mechanism to quantify the performance of generative visual models that integrate human feedback. We show that generation results improve over multiple rounds of iterative feedback through exhaustive analysis, implicitly optimizing arbitrary user preferences. The potential applications of these findings extend to fields such as personalized content creation and customization.