Jenseits binärer Präferenzen: Ausrichtung von Diffusionsmodellen an feinkörnigen Kriterien durch Entkopplung von Attributen
Beyond Binary Preference: Aligning Diffusion Models to Fine-grained Criteria by Decoupling Attributes
January 7, 2026
papers.authors: Chenye Meng, Zejian Li, Zhongni Liu, Yize Li, Changle Xie, Kaixin Jia, Ling Yang, Huanghuang Deng, Shiying Ding, Shengyuan Zhang, Jiayi Li, Lingyun Sun
cs.AI
papers.abstract
Die Nachjustierung (Alignment) von Diffusionsmodellen nach dem Training stützt sich auf vereinfachte Signale, wie skalare Belohnungen oder binäre Präferenzen. Dies schränkt die Abstimmung mit komplexer menschlicher Expertise ein, die hierarchisch und feinkörnig ist. Um dieses Problem zu adressieren, entwickeln wir zunächst mit Domänenexperten ein hierarchisches, feinkörniges Bewertungskriterium, das die Bildqualität in mehrere positive und negative Attribute zerlegt, die in einer Baumstruktur organisiert sind. Darauf aufbauend schlagen wir ein zweistufiges Alignment-Framework vor. Zunächst injizieren wir Domänenwissen in ein auxiliares Diffusionsmodell via Supervised Fine-Tuning. Zweitens führen wir Complex Preference Optimization (CPO) ein, das DPO erweitert, um das Ziel-Diffusionsmodell an unsere nicht-binären, hierarchischen Kriterien anzupassen. Konkret reformulieren wir das Alignment-Problem so, dass gleichzeitig die Wahrscheinlichkeit positiver Attribute maximiert und die Wahrscheinlichkeit negativer Attribute mit Hilfe des auxiliaren Diffusionsmodells minimiert wird. Wir implementieren unseren Ansatz im Bereich der Malerei-Generierung und führen ein CPO-Training mit einem annotierten Datensatz von Gemälden durch, der auf unseren Kriterien basierende feinkörnige Attribute enthält. Umfangreiche Experimente zeigen, dass CPO die Generierungsqualität und die Abstimmung mit der Expertise signifikant verbessert und neue Wege für die Abstimmung anhand feinkörniger Kriterien eröffnet.
English
Post-training alignment of diffusion models relies on simplified signals, such as scalar rewards or binary preferences. This limits alignment with complex human expertise, which is hierarchical and fine-grained. To address this, we first construct a hierarchical, fine-grained evaluation criteria with domain experts, which decomposes image quality into multiple positive and negative attributes organized in a tree structure. Building on this, we propose a two-stage alignment framework. First, we inject domain knowledge to an auxiliary diffusion model via Supervised Fine-Tuning. Second, we introduce Complex Preference Optimization (CPO) that extends DPO to align the target diffusion to our non-binary, hierarchical criteria. Specifically, we reformulate the alignment problem to simultaneously maximize the probability of positive attributes while minimizing the probability of negative attributes with the auxiliary diffusion. We instantiate our approach in the domain of painting generation and conduct CPO training with an annotated dataset of painting with fine-grained attributes based on our criteria. Extensive experiments demonstrate that CPO significantly enhances generation quality and alignment with expertise, opening new avenues for fine-grained criteria alignment.