Allineamento dei Modelli di Diffusione Ottimizzando l'Utilità Umana
Aligning Diffusion Models by Optimizing Human Utility
April 6, 2024
Autori: Shufan Li, Konstantinos Kallidromitis, Akash Gokul, Yusuke Kato, Kazuki Kozuka
cs.AI
Abstract
Presentiamo Diffusion-KTO, un approccio innovativo per allineare i modelli di diffusione testo-immagine formulando l'obiettivo di allineamento come la massimizzazione dell'utilità umana attesa. Poiché questo obiettivo si applica a ciascuna generazione in modo indipendente, Diffusion-KTO non richiede la raccolta di costosi dati di preferenza a coppie né l'addestramento di un complesso modello di ricompensa. Invece, il nostro obiettivo richiede semplici segnali di feedback binari per immagine, ad esempio "mi piace" o "non mi piace", che sono ampiamente disponibili. Dopo il fine-tuning utilizzando Diffusion-KTO, i modelli di diffusione testo-immagine mostrano prestazioni superiori rispetto alle tecniche esistenti, incluso il fine-tuning supervisionato e Diffusion-DPO, sia in termini di giudizio umano che di metriche di valutazione automatica come PickScore e ImageReward. In sintesi, Diffusion-KTO sblocca il potenziale di sfruttare i segnali binari per immagine facilmente disponibili e amplia l'applicabilità dell'allineamento dei modelli di diffusione testo-immagine con le preferenze umane.
English
We present Diffusion-KTO, a novel approach for aligning text-to-image
diffusion models by formulating the alignment objective as the maximization of
expected human utility. Since this objective applies to each generation
independently, Diffusion-KTO does not require collecting costly pairwise
preference data nor training a complex reward model. Instead, our objective
requires simple per-image binary feedback signals, e.g. likes or dislikes,
which are abundantly available. After fine-tuning using Diffusion-KTO,
text-to-image diffusion models exhibit superior performance compared to
existing techniques, including supervised fine-tuning and Diffusion-DPO, both
in terms of human judgment and automatic evaluation metrics such as PickScore
and ImageReward. Overall, Diffusion-KTO unlocks the potential of leveraging
readily available per-image binary signals and broadens the applicability of
aligning text-to-image diffusion models with human preferences.