Oltre la Preferenza Binaria: Allineare i Modelli di Diffusione a Criteri Granulari tramite il Disaccoppiamento degli Attributi
Beyond Binary Preference: Aligning Diffusion Models to Fine-grained Criteria by Decoupling Attributes
January 7, 2026
Autori: Chenye Meng, Zejian Li, Zhongni Liu, Yize Li, Changle Xie, Kaixin Jia, Ling Yang, Huanghuang Deng, Shiying Ding, Shengyuan Zhang, Jiayi Li, Lingyun Sun
cs.AI
Abstract
L'allineamento post-addestramento dei modelli di diffusione si basa su segnali semplificati, come ricompense scalari o preferenze binarie. Ciò limita l'allineamento con l'esperienza umana complessa, che è gerarchica e granulare. Per affrontare questo problema, abbiamo prima costruito un criterio di valutazione gerarchico e granulare con esperti di dominio, che scompone la qualità dell'immagine in molteplici attributi positivi e negativi organizzati in una struttura ad albero. Sulla base di questo, proponiamo un framework di allineamento in due fasi. In primo luogo, iniettiamo la conoscenza del dominio in un modello di diffusione ausiliario tramite Supervised Fine-Tuning. In secondo luogo, introduciamo l'Optimizzazione delle Preferenze Complesse (CPO) che estende DPO per allineare il modello di diffusione target ai nostri criteri gerarchici non binari. Nello specifico, riformuliamo il problema di allineamento per massimizzare simultaneamente la probabilità degli attributi positivi minimizzando la probabilità degli attributi negativi utilizzando il modello di diffusione ausiliario. Istanziamo il nostro approccio nel dominio della generazione di dipinti e conduciamo l'addestramento CPO con un dataset annotato di dipinti contenente attributi granulari basati sui nostri criteri. Esperimenti estensivi dimostrano che CPO migliora significativamente la qualità della generazione e l'allineamento con l'espertise, aprendo nuove strade per l'allineamento con criteri granulari.
English
Post-training alignment of diffusion models relies on simplified signals, such as scalar rewards or binary preferences. This limits alignment with complex human expertise, which is hierarchical and fine-grained. To address this, we first construct a hierarchical, fine-grained evaluation criteria with domain experts, which decomposes image quality into multiple positive and negative attributes organized in a tree structure. Building on this, we propose a two-stage alignment framework. First, we inject domain knowledge to an auxiliary diffusion model via Supervised Fine-Tuning. Second, we introduce Complex Preference Optimization (CPO) that extends DPO to align the target diffusion to our non-binary, hierarchical criteria. Specifically, we reformulate the alignment problem to simultaneously maximize the probability of positive attributes while minimizing the probability of negative attributes with the auxiliary diffusion. We instantiate our approach in the domain of painting generation and conduct CPO training with an annotated dataset of painting with fine-grained attributes based on our criteria. Extensive experiments demonstrate that CPO significantly enhances generation quality and alignment with expertise, opening new avenues for fine-grained criteria alignment.