Além da Preferência Binária: Alinhando Modelos de Difusão a Critérios Granulares por meio do Desacoplamento de Atributos
Beyond Binary Preference: Aligning Diffusion Models to Fine-grained Criteria by Decoupling Attributes
January 7, 2026
Autores: Chenye Meng, Zejian Li, Zhongni Liu, Yize Li, Changle Xie, Kaixin Jia, Ling Yang, Huanghuang Deng, Shiying Ding, Shengyuan Zhang, Jiayi Li, Lingyun Sun
cs.AI
Resumo
O alinhamento pós-treinamento de modelos de difusão baseia-se em sinais simplificados, como recompensas escalares ou preferências binárias. Isto limita o alinhamento com a expertise humana complexa, que é hierárquica e de granularidade fina. Para resolver isto, começamos por construir, com especialistas de domínio, um critério de avaliação hierárquico e de granularidade fina, que decompõe a qualidade da imagem em múltiplos atributos positivos e negativos organizados numa estrutura em árvore. Com base nisto, propomos um framework de alinhamento em duas etapas. Primeiro, injetamos conhecimento de domínio num modelo de difusão auxiliar através de Ajuste Fino Supervisionado. Segundo, introduzimos a Optimização de Preferências Complexas (CPO), que estende o DPO para alinhar o modelo de difusão alvo com os nossos critérios não-binários e hierárquicos. Especificamente, reformulamos o problema de alinhamento para maximizar simultaneamente a probabilidade dos atributos positivos e minimizar a probabilidade dos atributos negativos, utilizando o modelo de difusão auxiliar. Instanciamos a nossa abordagem no domínio da geração de pinturas e realizamos o treino de CPO com um conjunto de dados anotado de pinturas com atributos de granularidade fina baseados nos nossos critérios. Experiências extensivas demonstram que o CPO melhora significativamente a qualidade da geração e o alinhamento com a expertise, abrindo novas perspetivas para o alinhamento com critérios de granularidade fina.
English
Post-training alignment of diffusion models relies on simplified signals, such as scalar rewards or binary preferences. This limits alignment with complex human expertise, which is hierarchical and fine-grained. To address this, we first construct a hierarchical, fine-grained evaluation criteria with domain experts, which decomposes image quality into multiple positive and negative attributes organized in a tree structure. Building on this, we propose a two-stage alignment framework. First, we inject domain knowledge to an auxiliary diffusion model via Supervised Fine-Tuning. Second, we introduce Complex Preference Optimization (CPO) that extends DPO to align the target diffusion to our non-binary, hierarchical criteria. Specifically, we reformulate the alignment problem to simultaneously maximize the probability of positive attributes while minimizing the probability of negative attributes with the auxiliary diffusion. We instantiate our approach in the domain of painting generation and conduct CPO training with an annotated dataset of painting with fine-grained attributes based on our criteria. Extensive experiments demonstrate that CPO significantly enhances generation quality and alignment with expertise, opening new avenues for fine-grained criteria alignment.