인간의 효용성을 최적화하여 확산 모델 정렬하기

Aligning Diffusion Models by Optimizing Human Utility

April 6, 2024

저자: Shufan Li, Konstantinos Kallidromitis, Akash Gokul, Yusuke Kato, Kazuki Kozuka

cs.AI

초록

우리는 텍스트-이미지 확산 모델을 정렬하기 위한 새로운 접근법인 Diffusion-KTO를 소개합니다. 이 방법은 정렬 목표를 인간의 기대 효용 극대화로 공식화합니다. 이 목표는 각 생성에 독립적으로 적용되기 때문에, Diffusion-KTO는 비용이 많이 드는 쌍별 선호도 데이터를 수집하거나 복잡한 보상 모델을 훈련할 필요가 없습니다. 대신, 우리의 목표는 좋아요 또는 싫어요와 같은 간단한 이미지별 이진 피드백 신호를 요구하며, 이러한 신호는 풍부하게 이용 가능합니다. Diffusion-KTO를 사용하여 미세 조정한 후, 텍스트-이미지 확산 모델은 인간의 판단과 PickScore 및 ImageReward와 같은 자동 평가 지표 모두에서 기존 기술들(지도 학습 미세 조정 및 Diffusion-DPO 포함)보다 우수한 성능을 보입니다. 전반적으로, Diffusion-KTO는 손쉽게 이용 가능한 이미지별 이진 신호를 활용할 수 있는 잠재력을 발휘하며, 인간의 선호도에 맞춰 텍스트-이미지 확산 모델을 정렬하는 적용 범위를 확장합니다.

English

We present Diffusion-KTO, a novel approach for aligning text-to-image diffusion models by formulating the alignment objective as the maximization of expected human utility. Since this objective applies to each generation independently, Diffusion-KTO does not require collecting costly pairwise preference data nor training a complex reward model. Instead, our objective requires simple per-image binary feedback signals, e.g. likes or dislikes, which are abundantly available. After fine-tuning using Diffusion-KTO, text-to-image diffusion models exhibit superior performance compared to existing techniques, including supervised fine-tuning and Diffusion-DPO, both in terms of human judgment and automatic evaluation metrics such as PickScore and ImageReward. Overall, Diffusion-KTO unlocks the potential of leveraging readily available per-image binary signals and broadens the applicability of aligning text-to-image diffusion models with human preferences.