Diffusion-SDPO: Beveiligde Directe Preferentie-optimalisatie voor Diffusiemodellen

Diffusion-SDPO: Safeguarded Direct Preference Optimization for Diffusion Models

November 5, 2025

Auteurs: Minghao Fu, Guo-Hua Wang, Tianyu Cui, Qing-Guo Chen, Zhao Xu, Weihua Luo, Kaifu Zhang

cs.AI

Samenvatting

Tekst-naar-beeld diffusiemodellen leveren hoogwaardige afbeeldingen, maar het afstemmen ervan op menselijke voorkeuren blijft een uitdaging. Wij herbezien diffusiegebaseerde Direct Preference Optimization (DPO) voor deze modellen en identificeren een kritieke pathologie: het vergroten van de voorkeursmarge verbetert niet noodzakelijkerwijs de generatiekwaliteit. In het bijzonder kan het standaard Diffusion-DPO-doel de reconstructiefout van zowel de winnaar- als de verliezertakken vergroten. Hierdoor kan de degradatie van de minder gewenste uitvoer zo ernstig worden dat de voorkeurstak ook nadelig wordt beïnvloed, zelfs wanneer de marge groter wordt. Om dit aan te pakken, introduceren wij Diffusion-SDPO, een beveiligde updateregel die de winnaar behoudt door de verliezergradiënt adaptief te schalen op basis van de afstemming met de winnergradiënt. Een eerste-orde analyse levert een gesloten-vorm schalingscoëfficiënt op die garandeert dat de fout van de geprefereerde uitvoer bij elke optimalisatiestap niet toeneemt. Onze methode is eenvoudig, model-agnostisch, breed compatibel met bestaande DPO-stijl afstemmingsframeworks en voegt slechts een marginale rekenkundige overhead toe. Over standaard tekst-naar-beeld benchmarks heen levert Diffusion-SDPO consistente verbeteringen op ten opzichte van voorkeursleer-basislijnen voor geautomatiseerde voorkeurs-, esthetische- en promptafstemmingsmetriek. Code is openbaar beschikbaar op https://github.com/AIDC-AI/Diffusion-SDPO.

English

Text-to-image diffusion models deliver high-quality images, yet aligning them with human preferences remains challenging. We revisit diffusion-based Direct Preference Optimization (DPO) for these models and identify a critical pathology: enlarging the preference margin does not necessarily improve generation quality. In particular, the standard Diffusion-DPO objective can increase the reconstruction error of both winner and loser branches. Consequently, degradation of the less-preferred outputs can become sufficiently severe that the preferred branch is also adversely affected even as the margin grows. To address this, we introduce Diffusion-SDPO, a safeguarded update rule that preserves the winner by adaptively scaling the loser gradient according to its alignment with the winner gradient. A first-order analysis yields a closed-form scaling coefficient that guarantees the error of the preferred output is non-increasing at each optimization step. Our method is simple, model-agnostic, broadly compatible with existing DPO-style alignment frameworks and adds only marginal computational overhead. Across standard text-to-image benchmarks, Diffusion-SDPO delivers consistent gains over preference-learning baselines on automated preference, aesthetic, and prompt alignment metrics. Code is publicly available at https://github.com/AIDC-AI/Diffusion-SDPO.