Domando el Colapso Modal de Preferencias mediante Alineación de Desacoplamiento Direccional en Aprendizaje por Refuerzo con Difusión
Taming Preference Mode Collapse via Directional Decoupling Alignment in Diffusion Reinforcement Learning
December 30, 2025
Autores: Chubin Chen, Sujie Hu, Jiashu Zhu, Meiqi Wu, Jintao Chen, Yanxun Li, Nisha Huang, Chengyu Fang, Jiahong Wu, Xiangxiang Chu, Xiu Li
cs.AI
Resumen
Estudios recientes han demostrado avances significativos en la alineación de modelos de difusión de texto a imagen con las preferencias humanas mediante Aprendizaje por Refuerzo a partir de Retroalimentación Humana. Sin embargo, si bien los métodos existentes logran puntuaciones altas en métricas de recompensa automatizadas, a menudo conducen al Colapso del Modo de Preferencia (PMC, por sus siglas en inglés), una forma específica de hackeo de la recompensa en la que los modelos convergen en salidas estrechas y de alta puntuación (por ejemplo, imágenes con estilos monolíticos o sobreexposición generalizada), degradando severamente la diversidad generativa. En este trabajo, introducimos y cuantificamos este fenómeno, proponiendo DivGenBench, un nuevo benchmark diseñado para medir el grado de PMC. Postulamos que este colapso está impulsado por una sobreoptimización que sigue los sesgos inherentes del modelo de recompensa. Basándonos en este análisis, proponemos Alineación por Desacoplamiento Direccional (D^2-Align), un marco novedoso que mitiga el PMC corrigiendo direccionalmente la señal de recompensa. Específicamente, nuestro método primero aprende una corrección direccional dentro del espacio de embeddings del modelo de recompensa manteniendo el modelo congelado. Esta corrección se aplica luego a la señal de recompensa durante el proceso de optimización, impidiendo que el modelo colapse en modos específicos y manteniendo así la diversidad. Nuestra evaluación exhaustiva, que combina análisis cualitativo con métricas cuantitativas de calidad y diversidad, revela que D^2-Align logra una alineación superior con la preferencia humana.
English
Recent studies have demonstrated significant progress in aligning text-to-image diffusion models with human preference via Reinforcement Learning from Human Feedback. However, while existing methods achieve high scores on automated reward metrics, they often lead to Preference Mode Collapse (PMC)-a specific form of reward hacking where models converge on narrow, high-scoring outputs (e.g., images with monolithic styles or pervasive overexposure), severely degrading generative diversity. In this work, we introduce and quantify this phenomenon, proposing DivGenBench, a novel benchmark designed to measure the extent of PMC. We posit that this collapse is driven by over-optimization along the reward model's inherent biases. Building on this analysis, we propose Directional Decoupling Alignment (D^2-Align), a novel framework that mitigates PMC by directionally correcting the reward signal. Specifically, our method first learns a directional correction within the reward model's embedding space while keeping the model frozen. This correction is then applied to the reward signal during the optimization process, preventing the model from collapsing into specific modes and thereby maintaining diversity. Our comprehensive evaluation, combining qualitative analysis with quantitative metrics for both quality and diversity, reveals that D^2-Align achieves superior alignment with human preference.