Optimización de Modelos Generativos Visuales mediante Recompensas basadas en la Distribución

Resumen

Las estrategias convencionales de aprendizaje por refuerzo para la generación visual suelen emplear funciones de recompensa a nivel de muestra individual, lo que frecuentemente conduce a una manipulación de la recompensa que degrada la diversidad de las imágenes e introduce anomalías visuales. Para abordar estas limitaciones, presentamos un marco novedoso que ajusta modelos generativos mediante recompensas a nivel de distribución, asegurando una mejor alineación con las distribuciones de datos del mundo real. A diferencia de las recompensas que evaluan muestras de forma individual, la recompensa distributiva considera la distribución de datos de las muestras, mitigando el problema de colapso modal que ocurre cuando todas las muestras optimizan independientemente hacia la misma dirección. Para superar el costo computacional prohibitivo de estimar estas recompensas, introducimos una estrategia de reemplazo de subconjuntos que proporciona señales de recompensa de manera eficiente al actualizar solo un pequeño subconjunto de un conjunto de referencia generado. Además, aplicamos aprendizaje por refuerzo para optimizar los coeficientes de fusión de modelos post-hoc, mitigando potencialmente la inconsistencia entre entrenamiento e inferencia causada por la introducción de ecuaciones diferenciales estocásticas (SDE) en las prácticas habituales de aprendizaje por refuerzo. Experimentos exhaustivos muestran que nuestro enfoque mejora significativamente el FID-50K en varios modelos base, de 8.30 a 5.77 para SiT y de 3.74 a 3.52 para EDM2. La evaluación cualitativa también confirma que nuestro método mejora la calidad perceptual mientras preserva la diversidad de las muestras.

English

Conventional reinforcement learning strategies for visual generation typically employ sample-wise reward functions, yet this practice frequently results in reward hacking that degrades image diversity and introduces visual anomalies. To address these limitations, we present a novel framework that finetunes generative models using distribution-wise rewards, ensuring better alignment with real-world data distributions. Unlike rewards that evaluate samples individually, distribution-wise reward accounts for the data distribution of the samples, mitigating the mode collapse problem that occurs when all samples optimize towards the same direction independently. To overcome the prohibitive computational cost of estimating these rewards, we introduce a subset-replace strategy that efficiently provides reward signals by updating only a small subset of a generated reference set. Additionally, we apply RL to optimize post-hoc model merging coefficients, potentially mitigating the train-inference inconsistency caused by introducing stochastic differential equation (SDE) in regular RL practices. Extensive experiments show our approach significantly improves FID-50K across various base models, from 8.30 to 5.77 for SiT and from 3.74 to 3.52 for EDM2. Qualitative evaluation also confirms that our method enhances perceptual quality while preserving sample diversity.