Au-delà de la préférence binaire : Aligner les modèles de diffusion sur des critères granulaires par le découplage des attributs

Beyond Binary Preference: Aligning Diffusion Models to Fine-grained Criteria by Decoupling Attributes

January 7, 2026

papers.authors: Chenye Meng, Zejian Li, Zhongni Liu, Yize Li, Changle Xie, Kaixin Jia, Ling Yang, Huanghuang Deng, Shiying Ding, Shengyuan Zhang, Jiayi Li, Lingyun Sun

cs.AI

papers.abstract

L'alignement post-entraînement des modèles de diffusion repose sur des signaux simplifiés, tels que des récompenses scalaires ou des préférences binaires. Cela limite l'alignement avec l'expertise humaine complexe, qui est hiérarchique et fine. Pour résoudre ce problème, nous construisons d'abord une évaluation hiérarchique et granulaire avec des experts du domaine, qui décompose la qualité de l'image en multiples attributs positifs et négatifs organisés en structure arborescente. Sur cette base, nous proposons un cadre d'alignement en deux étapes. Premièrement, nous injectons des connaissances du domaine dans un modèle de diffusion auxiliaire via un Fine-Tuning Supervisé. Deuxièmement, nous introduisons l'Optimisation des Préférences Complexes (CPO) qui étend DPO pour aligner le modèle de diffusion cible sur nos critères non binaires et hiérarchiques. Plus précisément, nous reformulons le problème d'alignement pour maximiser simultanément la probabilité des attributs positifs tout en minimisant la probabilité des attributs négatifs à l'aide du modèle de diffusion auxiliaire. Nous instancions notre approche dans le domaine de la génération de peintures et effectuons un entraînement CPO avec un jeu de données annotées de peintures comportant des attributs granulaires basés sur nos critères. Des expériences approfondies démontrent que CPO améliore significativement la qualité de génération et l'alignement avec l'expertise, ouvrant de nouvelles voies pour l'alignement sur des critères fins.

English

Post-training alignment of diffusion models relies on simplified signals, such as scalar rewards or binary preferences. This limits alignment with complex human expertise, which is hierarchical and fine-grained. To address this, we first construct a hierarchical, fine-grained evaluation criteria with domain experts, which decomposes image quality into multiple positive and negative attributes organized in a tree structure. Building on this, we propose a two-stage alignment framework. First, we inject domain knowledge to an auxiliary diffusion model via Supervised Fine-Tuning. Second, we introduce Complex Preference Optimization (CPO) that extends DPO to align the target diffusion to our non-binary, hierarchical criteria. Specifically, we reformulate the alignment problem to simultaneously maximize the probability of positive attributes while minimizing the probability of negative attributes with the auxiliary diffusion. We instantiate our approach in the domain of painting generation and conduct CPO training with an annotated dataset of painting with fine-grained attributes based on our criteria. Extensive experiments demonstrate that CPO significantly enhances generation quality and alignment with expertise, opening new avenues for fine-grained criteria alignment.