Ausrichtung von Diffusionsmodellen durch Optimierung der menschlichen Nützlichkeit

Aligning Diffusion Models by Optimizing Human Utility

April 6, 2024

papers.authors: Shufan Li, Konstantinos Kallidromitis, Akash Gokul, Yusuke Kato, Kazuki Kozuka

cs.AI

papers.abstract

Wir präsentieren Diffusion-KTO, einen neuartigen Ansatz zur Ausrichtung von Text-zu-Bild-Diffusionsmodellen, indem das Ausrichtungsziel als Maximierung des erwarteten menschlichen Nutzens formuliert wird. Da dieses Ziel für jede Generation unabhängig gilt, erfordert Diffusion-KTO nicht die Sammlung kostspieliger paarweiser Präferenzdaten oder das Training eines komplexen Belohnungsmodells. Stattdessen erfordert unser Ziel einfache binäre Rückmeldesignale pro Bild, z. B. Likes oder Dislikes, die reichlich verfügbar sind. Nach Feinabstimmung mit Diffusion-KTO zeigen Text-zu-Bild-Diffusionsmodelle eine überlegene Leistung im Vergleich zu bestehenden Techniken, einschließlich überwachter Feinabstimmung und Diffusion-DPO, sowohl in Bezug auf menschliche Beurteilung als auch auf automatische Auswertungsmetriken wie PickScore und ImageReward. Insgesamt erschließt Diffusion-KTO das Potenzial der Nutzung leicht verfügbarer binärer Signale pro Bild und erweitert die Anwendbarkeit der Ausrichtung von Text-zu-Bild-Diffusionsmodellen an menschlichen Präferenzen.

English

We present Diffusion-KTO, a novel approach for aligning text-to-image diffusion models by formulating the alignment objective as the maximization of expected human utility. Since this objective applies to each generation independently, Diffusion-KTO does not require collecting costly pairwise preference data nor training a complex reward model. Instead, our objective requires simple per-image binary feedback signals, e.g. likes or dislikes, which are abundantly available. After fine-tuning using Diffusion-KTO, text-to-image diffusion models exhibit superior performance compared to existing techniques, including supervised fine-tuning and Diffusion-DPO, both in terms of human judgment and automatic evaluation metrics such as PickScore and ImageReward. Overall, Diffusion-KTO unlocks the potential of leveraging readily available per-image binary signals and broadens the applicability of aligning text-to-image diffusion models with human preferences.