Diffusion-SDPO : Optimisation Directe des Préférences avec Sauvegarde pour les Modèles de Diffusion

Diffusion-SDPO: Safeguarded Direct Preference Optimization for Diffusion Models

November 5, 2025

papers.authors: Minghao Fu, Guo-Hua Wang, Tianyu Cui, Qing-Guo Chen, Zhao Xu, Weihua Luo, Kaifu Zhang

cs.AI

papers.abstract

Les modèles de diffusion texte-image produisent des images de haute qualité, mais leur alignement avec les préférences humaines reste un défi. Nous revisitons l'optimisation directe des préférences (DPO) basée sur la diffusion pour ces modèles et identifions une pathologie critique : élargir la marge de préférence n'améliore pas nécessairement la qualité de génération. En particulier, l'objectif standard Diffusion-DPO peut augmenter l'erreur de reconstruction des branches gagnante et perdante. Par conséquent, la dégradation des sorties moins préférées peut devenir suffisamment sévère pour affecter négativement la branche préférée même lorsque la marge augmente. Pour résoudre ce problème, nous introduisons Diffusion-SDPO, une règle de mise à jour sécurisée qui préserve le gagnant en mettant à l'échelle de manière adaptative le gradient du perdant selon son alignement avec le gradient du gagnant. Une analyse du premier ordre produit un coefficient d'échelle sous forme fermée qui garantit que l'erreur de la sortie préférée est non croissante à chaque étape d'optimisation. Notre méthode est simple, agnostique au modèle, largement compatible avec les cadres d'alignement existants de type DPO et n'ajoute qu'une surcharge computationnelle marginale. Sur les benchmarks standards texte-image, Diffusion-SDPO apporte des gains constants par rapport aux bases de référence d'apprentissage par préférences sur les métriques automatisées de préférence, d'esthétique et d'alignement avec l'invite. Le code est disponible publiquement à l'adresse https://github.com/AIDC-AI/Diffusion-SDPO.

English

Text-to-image diffusion models deliver high-quality images, yet aligning them with human preferences remains challenging. We revisit diffusion-based Direct Preference Optimization (DPO) for these models and identify a critical pathology: enlarging the preference margin does not necessarily improve generation quality. In particular, the standard Diffusion-DPO objective can increase the reconstruction error of both winner and loser branches. Consequently, degradation of the less-preferred outputs can become sufficiently severe that the preferred branch is also adversely affected even as the margin grows. To address this, we introduce Diffusion-SDPO, a safeguarded update rule that preserves the winner by adaptively scaling the loser gradient according to its alignment with the winner gradient. A first-order analysis yields a closed-form scaling coefficient that guarantees the error of the preferred output is non-increasing at each optimization step. Our method is simple, model-agnostic, broadly compatible with existing DPO-style alignment frameworks and adds only marginal computational overhead. Across standard text-to-image benchmarks, Diffusion-SDPO delivers consistent gains over preference-learning baselines on automated preference, aesthetic, and prompt alignment metrics. Code is publicly available at https://github.com/AIDC-AI/Diffusion-SDPO.