Optimiser les modèles génératifs visuels via des récompenses par distribution

Résumé

Les stratégies d'apprentissage par renforcement conventionnelles pour la génération visuelle emploient généralement des fonctions de récompense fondées sur des échantillons individuels, mais cette approche conduit souvent à un contournement des récompenses qui dégrade la diversité des images et introduit des anomalies visuelles. Pour pallier ces limitations, nous présentons un nouveau cadre d'ajustement des modèles génératifs utilisant des récompenses basées sur les distributions, assurant une meilleure adéquation avec les distributions de données réelles. Contrairement aux récompenses qui évaluent les échantillons individuellement, la récompense distributionnelle prend en compte la distribution des données des échantillons, atténuant ainsi le problème d'effondrement modal qui survient lorsque tous les échantillons optimisent vers la même direction de manière indépendante. Pour surmonter le coût de calcul prohibitif de l'estimation de ces récompenses, nous introduisons une stratégie de remplacement de sous-ensemble qui fournit efficacement des signaux de récompense en ne mettant à jour qu'un petit sous-ensemble d'un ensemble de référence généré. De plus, nous appliquons l'apprentissage par renforcement pour optimiser les coefficients de fusion de modèles a posteriori, ce qui peut potentiellement atténuer l'incohérence entre l'entraînement et l'inférence causée par l'introduction d'équations différentielles stochastiques dans les pratiques classiques d'apprentissage par renforcement. Des expériences approfondies montrent que notre approche améliore significativement le FID-50K sur divers modèles de base, passant de 8,30 à 5,77 pour SiT et de 3,74 à 3,52 pour EDM2. L'évaluation qualitative confirme également que notre méthode améliore la qualité perceptuelle tout en préservant la diversité des échantillons.

English

Conventional reinforcement learning strategies for visual generation typically employ sample-wise reward functions, yet this practice frequently results in reward hacking that degrades image diversity and introduces visual anomalies. To address these limitations, we present a novel framework that finetunes generative models using distribution-wise rewards, ensuring better alignment with real-world data distributions. Unlike rewards that evaluate samples individually, distribution-wise reward accounts for the data distribution of the samples, mitigating the mode collapse problem that occurs when all samples optimize towards the same direction independently. To overcome the prohibitive computational cost of estimating these rewards, we introduce a subset-replace strategy that efficiently provides reward signals by updating only a small subset of a generated reference set. Additionally, we apply RL to optimize post-hoc model merging coefficients, potentially mitigating the train-inference inconsistency caused by introducing stochastic differential equation (SDE) in regular RL practices. Extensive experiments show our approach significantly improves FID-50K across various base models, from 8.30 to 5.77 for SiT and from 3.74 to 3.52 for EDM2. Qualitative evaluation also confirms that our method enhances perceptual quality while preserving sample diversity.