Más Allá de la Preferencia Binaria: Alineando Modelos de Difusión con Criterios de Grano Fino mediante el Desacoplamiento de Atributos
Beyond Binary Preference: Aligning Diffusion Models to Fine-grained Criteria by Decoupling Attributes
January 7, 2026
Autores: Chenye Meng, Zejian Li, Zhongni Liu, Yize Li, Changle Xie, Kaixin Jia, Ling Yang, Huanghuang Deng, Shiying Ding, Shengyuan Zhang, Jiayi Li, Lingyun Sun
cs.AI
Resumen
La alineación posterior al entrenamiento de modelos de difusión se basa en señales simplificadas, como recompensas escalares o preferencias binarias. Esto limita la alineación con la experiencia humana compleja, que es jerárquica y de grano fino. Para abordar esto, primero construimos un criterio de evaluación jerárquico y detallado con expertos en el dominio, que descompone la calidad de la imagen en múltiples atributos positivos y negativos organizados en una estructura de árbol. Sobre esta base, proponemos un marco de alineación de dos etapas. Primero, inyectamos conocimiento del dominio a un modelo de difusión auxiliar mediante Ajuste Supervisado. Segundo, introducimos la Optimización de Preferencias Complejas (CPO), que extiende DPO para alinear el modelo de difusión objetivo con nuestros criterios jerárquicos no binarios. Específicamente, reformulamos el problema de alineación para maximizar simultáneamente la probabilidad de los atributos positivos y minimizar la probabilidad de los atributos negativos utilizando el modelo de difusión auxiliar. Instanciamos nuestro enfoque en el dominio de la generación de pinturas y realizamos el entrenamiento CPO con un conjunto de datos anotado de pinturas con atributos detallados basados en nuestros criterios. Experimentos exhaustivos demuestran que CPO mejora significativamente la calidad de la generación y la alineación con la experiencia experta, abriendo nuevas vías para la alineación con criterios de grano fino.
English
Post-training alignment of diffusion models relies on simplified signals, such as scalar rewards or binary preferences. This limits alignment with complex human expertise, which is hierarchical and fine-grained. To address this, we first construct a hierarchical, fine-grained evaluation criteria with domain experts, which decomposes image quality into multiple positive and negative attributes organized in a tree structure. Building on this, we propose a two-stage alignment framework. First, we inject domain knowledge to an auxiliary diffusion model via Supervised Fine-Tuning. Second, we introduce Complex Preference Optimization (CPO) that extends DPO to align the target diffusion to our non-binary, hierarchical criteria. Specifically, we reformulate the alignment problem to simultaneously maximize the probability of positive attributes while minimizing the probability of negative attributes with the auxiliary diffusion. We instantiate our approach in the domain of painting generation and conduct CPO training with an annotated dataset of painting with fine-grained attributes based on our criteria. Extensive experiments demonstrate that CPO significantly enhances generation quality and alignment with expertise, opening new avenues for fine-grained criteria alignment.