FABRIC: Personalizzazione di Modelli di Diffusione con Feedback Iterativo

FABRIC: Personalizing Diffusion Models with Iterative Feedback

July 19, 2023

Autori: Dimitri von Rütte, Elisabetta Fedele, Jonathan Thomm, Lukas Wolf

cs.AI

Abstract

In un'era in cui la generazione di contenuti visivi è sempre più guidata dal machine learning, l'integrazione del feedback umano nei modelli generativi presenta significative opportunità per migliorare l'esperienza dell'utente e la qualità degli output. Questo studio esplora strategie per incorporare il feedback umano iterativo nel processo generativo di modelli di testo-immagine basati su diffusione. Proponiamo FABRIC, un approccio senza addestramento applicabile a un'ampia gamma di modelli di diffusione popolari, che sfrutta il livello di self-attention presente nelle architetture più utilizzate per condizionare il processo di diffusione su un insieme di immagini di feedback. Per garantire una valutazione rigorosa del nostro approccio, introduciamo una metodologia di valutazione completa, offrendo un meccanismo robusto per quantificare le prestazioni dei modelli visivi generativi che integrano il feedback umano. Dimostriamo che i risultati della generazione migliorano attraverso molteplici cicli di feedback iterativo, ottimizzando implicitamente preferenze arbitrarie dell'utente. Le potenziali applicazioni di questi risultati si estendono a campi come la creazione di contenuti personalizzati e la personalizzazione.

English

In an era where visual content generation is increasingly driven by machine learning, the integration of human feedback into generative models presents significant opportunities for enhancing user experience and output quality. This study explores strategies for incorporating iterative human feedback into the generative process of diffusion-based text-to-image models. We propose FABRIC, a training-free approach applicable to a wide range of popular diffusion models, which exploits the self-attention layer present in the most widely used architectures to condition the diffusion process on a set of feedback images. To ensure a rigorous assessment of our approach, we introduce a comprehensive evaluation methodology, offering a robust mechanism to quantify the performance of generative visual models that integrate human feedback. We show that generation results improve over multiple rounds of iterative feedback through exhaustive analysis, implicitly optimizing arbitrary user preferences. The potential applications of these findings extend to fields such as personalized content creation and customization.