Voorbij Binaire Voorkeur: Het Afstemmen van Diffusiemodellen op Fijnmazige Criteria door het Ontkoppelen van Attributen
Beyond Binary Preference: Aligning Diffusion Models to Fine-grained Criteria by Decoupling Attributes
January 7, 2026
Auteurs: Chenye Meng, Zejian Li, Zhongni Liu, Yize Li, Changle Xie, Kaixin Jia, Ling Yang, Huanghuang Deng, Shiying Ding, Shengyuan Zhang, Jiayi Li, Lingyun Sun
cs.AI
Samenvatting
Nabewerking-alignment van diffusiemodellen steunt op vereenvoudigde signalen, zoals scalaire beloningen of binaire voorkeuren. Dit beperkt de afstemming met complexe menselijke expertise, die hiërarchisch en fijnmazig is. Om dit aan te pakken, construeren we eerst samen met domeinexperts een hiërarchische, fijnmazige evaluatiecriteria, die beeldkwaliteit ontleedt in meerdere positieve en negatieve attributen, georganiseerd in een boomstructuur. Voortbouwend hierop stellen we een tweefasen alignment-framework voor. Eerst injecteren we domeinkennis in een hulp-diffusiemodel via Supervised Fine-Tuning. Vervolgens introduceren we Complex Preference Optimization (CPO), dat DPO uitbreidt om het doeldiffusiemodel af te stemmen op onze niet-binaire, hiërarchische criteria. Concreet herformuleren we het alignment-probleem om gelijktijdig de waarschijnlijkheid van positieve attributen te maximaliseren en de waarschijnlijkheid van negatieve attributen te minimaliseren, ten opzichte van het hulp-diffusiemodel. We concretiseren onze aanpak in het domein van schilderkunstgeneratie en voeren CPO-training uit met een geannoteerde dataset van schilderijen met fijnmazige attributen gebaseerd op onze criteria. Uitgebreide experimenten tonen aan dat CPO de generatiekwaliteit en afstemming met expertise aanzienlijk verbetert, wat nieuwe mogelijkheden opent voor alignment met fijnmazige criteria.
English
Post-training alignment of diffusion models relies on simplified signals, such as scalar rewards or binary preferences. This limits alignment with complex human expertise, which is hierarchical and fine-grained. To address this, we first construct a hierarchical, fine-grained evaluation criteria with domain experts, which decomposes image quality into multiple positive and negative attributes organized in a tree structure. Building on this, we propose a two-stage alignment framework. First, we inject domain knowledge to an auxiliary diffusion model via Supervised Fine-Tuning. Second, we introduce Complex Preference Optimization (CPO) that extends DPO to align the target diffusion to our non-binary, hierarchical criteria. Specifically, we reformulate the alignment problem to simultaneously maximize the probability of positive attributes while minimizing the probability of negative attributes with the auxiliary diffusion. We instantiate our approach in the domain of painting generation and conduct CPO training with an annotated dataset of painting with fine-grained attributes based on our criteria. Extensive experiments demonstrate that CPO significantly enhances generation quality and alignment with expertise, opening new avenues for fine-grained criteria alignment.