Addomesticare il Collasso Modale delle Preferenze tramite Allineamento Disaccoppiato Direzionale nell'Apprendimento per Rinforzo con Diffusion
Taming Preference Mode Collapse via Directional Decoupling Alignment in Diffusion Reinforcement Learning
December 30, 2025
Autori: Chubin Chen, Sujie Hu, Jiashu Zhu, Meiqi Wu, Jintao Chen, Yanxun Li, Nisha Huang, Chengyu Fang, Jiahong Wu, Xiangxiang Chu, Xiu Li
cs.AI
Abstract
Recenti studi hanno dimostrato significativi progressi nell'allineamento dei modelli di diffusione testo-immagine con le preferenze umane tramite l'Apprendimento per Rinforzo da Feedback Umano. Tuttavia, sebbene i metodi esistenti raggiungano punteggi elevati nelle metriche di reward automatizzate, essi spesso portano al Collasso della Modalità di Preferenza (PMC) – una forma specifica di reward hacking in cui i modelli convergono su output ristretti e ad alto punteggio (ad esempio, immagini con stili monolitici o sovraesposizione pervasiva), degradando gravemente la diversità generativa. In questo lavoro, introduciamo e quantifichiamo questo fenomeno, proponendo DivGenBench, un nuovo benchmark progettato per misurare l'entità del PMC. Ipotesizziamo che questo collasso sia guidato da un'over-ottimizzazione lungo i bias intrinseci del modello di reward. Basandoci su questa analisi, proponiamo l'Allineamento per Disaccoppiamento Direzionale (D^2-Align), un nuovo framework che mitiga il PMC correggendo direzionalmente il segnale di reward. Nello specifico, il nostro metodo apprende prima una correzione direzionale nello spazio di embedding del modello di reward mantenendo il modello congelato. Questa correzione viene poi applicata al segnale di reward durante il processo di ottimizzazione, impedendo al modello di collassare in modalità specifiche e mantenendo così la diversità. La nostra valutazione completa, che combina analisi qualitative con metriche quantitative sia per la qualità che per la diversità, rivela che D^2-Align raggiunge un allineamento superiore con le preferenze umane.
English
Recent studies have demonstrated significant progress in aligning text-to-image diffusion models with human preference via Reinforcement Learning from Human Feedback. However, while existing methods achieve high scores on automated reward metrics, they often lead to Preference Mode Collapse (PMC)-a specific form of reward hacking where models converge on narrow, high-scoring outputs (e.g., images with monolithic styles or pervasive overexposure), severely degrading generative diversity. In this work, we introduce and quantify this phenomenon, proposing DivGenBench, a novel benchmark designed to measure the extent of PMC. We posit that this collapse is driven by over-optimization along the reward model's inherent biases. Building on this analysis, we propose Directional Decoupling Alignment (D^2-Align), a novel framework that mitigates PMC by directionally correcting the reward signal. Specifically, our method first learns a directional correction within the reward model's embedding space while keeping the model frozen. This correction is then applied to the reward signal during the optimization process, preventing the model from collapsing into specific modes and thereby maintaining diversity. Our comprehensive evaluation, combining qualitative analysis with quantitative metrics for both quality and diversity, reveals that D^2-Align achieves superior alignment with human preference.