За пределами бинарных предпочтений: согласование диффузионных моделей с детализированными критериями через разделение атрибутов
Beyond Binary Preference: Aligning Diffusion Models to Fine-grained Criteria by Decoupling Attributes
January 7, 2026
Авторы: Chenye Meng, Zejian Li, Zhongni Liu, Yize Li, Changle Xie, Kaixin Jia, Ling Yang, Huanghuang Deng, Shiying Ding, Shengyuan Zhang, Jiayi Li, Lingyun Sun
cs.AI
Аннотация
Послеобученческое согласование диффузионных моделей опирается на упрощенные сигналы, такие как скалярные вознаграждения или бинарные предпочтения. Это ограничивает согласование со сложной человеческой экспертизой, которая является иерархической и детализированной. Чтобы решить эту проблему, мы сначала разрабатываем вместе с экспертами предметной области иерархические, детализированные критерии оценки, которые разбивают качество изображения на множество позитивных и негативных атрибутов, организованных в древовидную структуру. На основе этого мы предлагаем двухэтапную framework согласования. Сначала мы внедряем доменные знания во вспомогательную диффузионную модель с помощью контролируемого тонкого настройки. Во-вторых, мы представляем Оптимизацию по Сложным Предпочтениям (Complex Preference Optimization, CPO), которая расширяет DPO для согласования целевой диффузионной модели с нашими небинарными, иерархическими критериями. А именно, мы переформулируем задачу согласования как одновременную максимизацию вероятности позитивных атрибутов и минимизацию вероятности негативных атрибутов относительно вспомогательной диффузионной модели. Мы применяем наш подход в области генерации картин и проводим обучение по методу CPO на размеченном наборе данных картин с детализированными атрибутами, основанном на наших критериях. Многочисленные эксперименты демонстрируют, что CPO значительно повышает качество генерации и степень согласованности с экспертной оценкой, открывая новые пути для согласования по детализированным критериям.
English
Post-training alignment of diffusion models relies on simplified signals, such as scalar rewards or binary preferences. This limits alignment with complex human expertise, which is hierarchical and fine-grained. To address this, we first construct a hierarchical, fine-grained evaluation criteria with domain experts, which decomposes image quality into multiple positive and negative attributes organized in a tree structure. Building on this, we propose a two-stage alignment framework. First, we inject domain knowledge to an auxiliary diffusion model via Supervised Fine-Tuning. Second, we introduce Complex Preference Optimization (CPO) that extends DPO to align the target diffusion to our non-binary, hierarchical criteria. Specifically, we reformulate the alignment problem to simultaneously maximize the probability of positive attributes while minimizing the probability of negative attributes with the auxiliary diffusion. We instantiate our approach in the domain of painting generation and conduct CPO training with an annotated dataset of painting with fine-grained attributes based on our criteria. Extensive experiments demonstrate that CPO significantly enhances generation quality and alignment with expertise, opening new avenues for fine-grained criteria alignment.