Het Temmen van Modusinstorting in Voorkeuren via Directionele Ontkoppeling en Afstemming in Diffusion Versterkingsleren
Taming Preference Mode Collapse via Directional Decoupling Alignment in Diffusion Reinforcement Learning
December 30, 2025
Auteurs: Chubin Chen, Sujie Hu, Jiashu Zhu, Meiqi Wu, Jintao Chen, Yanxun Li, Nisha Huang, Chengyu Fang, Jiahong Wu, Xiangxiang Chu, Xiu Li
cs.AI
Samenvatting
Recente studies hebben aanzienlijke vooruitgang aangetoond in het afstemmen van tekst-naar-beeld diffusiemodellen op menselijke voorkeuren via Reinforcement Learning from Human Feedback. Echter, hoewel bestaande methoden hoge scores behalen op geautomatiseerde beloningsmetrieken, leiden ze vaak tot Preference Mode Collapse (PMC) - een specifieke vorm van 'reward hacking' waarbij modellen convergeren naar nauwe, hoogscorende outputs (bijvoorbeeld afbeeldingen met monolithische stijlen of alomtegenwoordige overbelichting), wat de generatieve diversiteit ernstig aantast. In dit werk introduceren en kwantificeren we dit fenomeen, en stellen we DivGenBench voor, een nieuwe benchmark ontworpen om de omvang van PMC te meten. We veronderstellen dat deze ineenstorting wordt veroorzaakt door overoptimalisatie langs de inherente biases van het beloningsmodel. Voortbouwend op deze analyse stellen we Directional Decoupling Alignment (D²-Align) voor, een nieuw raamwerk dat PMC beperkt door het beloningssignaal directioneel te corrigeren. Concreet leert onze methode eerst een directionele correctie binnen de embedded ruimte van het beloningsmodel, terwijl het model zelf bevroren blijft. Deze correctie wordt vervolgens toegepast op het beloningssignaal tijdens het optimalisatieproces, waardoor wordt voorkomen dat het model in specifieke modi ineenstort en zo de diversiteit behouden blijft. Onze uitgebreide evaluatie, die kwalitatieve analyse combineert met kwantitatieve metrieken voor zowel kwaliteit als diversiteit, toont aan dat D²-Align een superieure afstemming op menselijke voorkeuren bereikt.
English
Recent studies have demonstrated significant progress in aligning text-to-image diffusion models with human preference via Reinforcement Learning from Human Feedback. However, while existing methods achieve high scores on automated reward metrics, they often lead to Preference Mode Collapse (PMC)-a specific form of reward hacking where models converge on narrow, high-scoring outputs (e.g., images with monolithic styles or pervasive overexposure), severely degrading generative diversity. In this work, we introduce and quantify this phenomenon, proposing DivGenBench, a novel benchmark designed to measure the extent of PMC. We posit that this collapse is driven by over-optimization along the reward model's inherent biases. Building on this analysis, we propose Directional Decoupling Alignment (D^2-Align), a novel framework that mitigates PMC by directionally correcting the reward signal. Specifically, our method first learns a directional correction within the reward model's embedding space while keeping the model frozen. This correction is then applied to the reward signal during the optimization process, preventing the model from collapsing into specific modes and thereby maintaining diversity. Our comprehensive evaluation, combining qualitative analysis with quantitative metrics for both quality and diversity, reveals that D^2-Align achieves superior alignment with human preference.