Diffusion-SDPO: Ottimizzazione Diretta delle Preferenze Protetta per Modelli di Diffusione

Diffusion-SDPO: Safeguarded Direct Preference Optimization for Diffusion Models

November 5, 2025

Autori: Minghao Fu, Guo-Hua Wang, Tianyu Cui, Qing-Guo Chen, Zhao Xu, Weihua Luo, Kaifu Zhang

cs.AI

Abstract

I modelli di diffusione text-to-image forniscono immagini di alta qualità, ma allinearle alle preferenze umane rimane una sfida. Riconsideriamo l'Ottimizzazione Diretta delle Preferenze (DPO) basata su diffusione per questi modelli e identifichiamo una patologia critica: ampliare il margine di preferenza non migliora necessariamente la qualità della generazione. In particolare, l'obiettivo standard di Diffusion-DPO può aumentare l'errore di ricostruzione sia del ramo vincente che di quello perdente. Di conseguenza, il degrado degli output meno preferiti può diventare sufficientemente grave da influenzare negativamente anche il ramo preferito, nonostante la crescita del margine. Per affrontare questo problema, introduciamo Diffusion-SDPO, una regola di aggiornamento protetta che preserva il vincitore scalando in modo adattivo il gradiente del perdente in base al suo allineamento con il gradiente del vincitore. Un'analisi del primo ordine produce un coefficiente di scalatura in forma chiusa che garantisce che l'errore dell'output preferito non aumenti ad ogni passo di ottimizzazione. Il nostro metodo è semplice, indipendente dal modello, ampiamente compatibile con i framework di allineamento esistenti in stile DPO e aggiunge solo un sovraccarico computazionale marginale. Su benchmark text-to-image standard, Diffusion-SDPO fornisce miglioramenti consistenti rispetto ai baseline di apprendimento delle preferenze su metriche automatizzate di preferenza, estetiche e di allineamento al prompt. Il codice è pubblicamente disponibile all'indirizzo https://github.com/AIDC-AI/Diffusion-SDPO.

English

Text-to-image diffusion models deliver high-quality images, yet aligning them with human preferences remains challenging. We revisit diffusion-based Direct Preference Optimization (DPO) for these models and identify a critical pathology: enlarging the preference margin does not necessarily improve generation quality. In particular, the standard Diffusion-DPO objective can increase the reconstruction error of both winner and loser branches. Consequently, degradation of the less-preferred outputs can become sufficiently severe that the preferred branch is also adversely affected even as the margin grows. To address this, we introduce Diffusion-SDPO, a safeguarded update rule that preserves the winner by adaptively scaling the loser gradient according to its alignment with the winner gradient. A first-order analysis yields a closed-form scaling coefficient that guarantees the error of the preferred output is non-increasing at each optimization step. Our method is simple, model-agnostic, broadly compatible with existing DPO-style alignment frameworks and adds only marginal computational overhead. Across standard text-to-image benchmarks, Diffusion-SDPO delivers consistent gains over preference-learning baselines on automated preference, aesthetic, and prompt alignment metrics. Code is publicly available at https://github.com/AIDC-AI/Diffusion-SDPO.