Устранение коллапса режима предпочтений через направленное развязывание согласования в диффузионном обучении с подкреплением
Taming Preference Mode Collapse via Directional Decoupling Alignment in Diffusion Reinforcement Learning
December 30, 2025
Авторы: Chubin Chen, Sujie Hu, Jiashu Zhu, Meiqi Wu, Jintao Chen, Yanxun Li, Nisha Huang, Chengyu Fang, Jiahong Wu, Xiangxiang Chu, Xiu Li
cs.AI
Аннотация
Недавние исследования продемонстрировали значительный прогресс в согласовании диффузионных моделей "текст-изображение" с человеческими предпочтениями с помощью обучения с подкреплением на основе человеческих оценок. Однако, хотя существующие методы достигают высоких показателей по автоматизированным метрикам вознаграждения, они часто приводят к коллапсу режима предпочтений — специфической форме взлома системы вознаграждения, при которой модели сходятся к узкому набору высокооцениваемых результатов (например, изображениям с монолитными стилями или повсеместной передержкой), что существенно снижает генеративное разнообразие. В данной работе мы вводим и количественно оцениваем этот феномен, предлагая DivGenBench — новый эталонный тест, предназначенный для измерения степени коллапса режима предпочтений. Мы предполагаем, что этот коллапс обусловлен сверхоптимизацией вдоль присущих модели вознаграждения смещений. Основываясь на этом анализе, мы предлагаем Directional Decoupling Alignment (D²-Align), новую архитектуру, которая смягчает коллапс режима предпочтений за счет направленной коррекции сигнала вознаграждения. Конкретно, наш метод сначала изучает направленную коррекцию в пространстве эмбеддингов модели вознаграждения, оставляя саму модель замороженной. Затем эта коррекция применяется к сигналу вознаграждения в процессе оптимизации, предотвращая схлопывание модели в специфические режимы и тем самым сохраняя разнообразие. Наше комплексное оценивание, сочетающее качественный анализ с количественными метриками качества и разнообразия, показывает, что D²-Align обеспечивает превосходное соответствие человеческим предпочтениям.
English
Recent studies have demonstrated significant progress in aligning text-to-image diffusion models with human preference via Reinforcement Learning from Human Feedback. However, while existing methods achieve high scores on automated reward metrics, they often lead to Preference Mode Collapse (PMC)-a specific form of reward hacking where models converge on narrow, high-scoring outputs (e.g., images with monolithic styles or pervasive overexposure), severely degrading generative diversity. In this work, we introduce and quantify this phenomenon, proposing DivGenBench, a novel benchmark designed to measure the extent of PMC. We posit that this collapse is driven by over-optimization along the reward model's inherent biases. Building on this analysis, we propose Directional Decoupling Alignment (D^2-Align), a novel framework that mitigates PMC by directionally correcting the reward signal. Specifically, our method first learns a directional correction within the reward model's embedding space while keeping the model frozen. This correction is then applied to the reward signal during the optimization process, preventing the model from collapsing into specific modes and thereby maintaining diversity. Our comprehensive evaluation, combining qualitative analysis with quantitative metrics for both quality and diversity, reveals that D^2-Align achieves superior alignment with human preference.