Optimierung visueller generativer Modelle durch verteilungsbezogene Belohnungen

Zusammenfassung

Konventionelle Reinforcement-Learning-Strategien für die visuelle Generierung verwenden typischerweise stichprobenbezogene Belohnungsfunktionen, doch diese Praxis führt häufig zu Reward Hacking, das die Bildvielfalt beeinträchtigt und visuelle Anomalien verursacht. Um diese Einschränkungen zu beheben, stellen wir ein neuartiges Framework vor, das generative Modelle mittels verteilungsbezogener Belohnungen feinabstimmt und so eine bessere Übereinstimmung mit realen Datenverteilungen gewährleistet. Im Gegensatz zu Belohnungen, die Stichproben einzeln bewerten, berücksichtigt die verteilungsbezogene Belohnung die Datenverteilung der Stichproben und mildert das Problem des Moduskollapses, das auftritt, wenn alle Stichproben unabhängig voneinander in dieselbe Richtung optimiert werden. Um den unerschwinglichen Rechenaufwand für die Schätzung dieser Belohnungen zu überwinden, führen wir eine Teilmengenersetzungsstrategie ein, die Belohnungssignale effizient bereitstellt, indem nur eine kleine Teilmenge eines generierten Referenzsatzes aktualisiert wird. Darüber hinaus wenden wir Reinforcement Learning an, um Post-hoc-Modell-Verschmelzungskoeffizienten zu optimieren, wodurch möglicherweise die Trainings-Inferenz-Inkonsistenz gemildert wird, die durch die Einführung stochastischer Differentialgleichungen (SDE) in regulären RL-Praktiken verursacht wird. Umfangreiche Experimente zeigen, dass unser Ansatz den FID-50K über verschiedene Basismodelle hinweg signifikant verbessert, von 8,30 auf 5,77 für SiT und von 3,74 auf 3,52 für EDM2. Die qualitative Bewertung bestätigt ebenfalls, dass unsere Methode die Wahrnehmungsqualität verbessert und gleichzeitig die Stichprobenvielfalt erhält.

English

Conventional reinforcement learning strategies for visual generation typically employ sample-wise reward functions, yet this practice frequently results in reward hacking that degrades image diversity and introduces visual anomalies. To address these limitations, we present a novel framework that finetunes generative models using distribution-wise rewards, ensuring better alignment with real-world data distributions. Unlike rewards that evaluate samples individually, distribution-wise reward accounts for the data distribution of the samples, mitigating the mode collapse problem that occurs when all samples optimize towards the same direction independently. To overcome the prohibitive computational cost of estimating these rewards, we introduce a subset-replace strategy that efficiently provides reward signals by updating only a small subset of a generated reference set. Additionally, we apply RL to optimize post-hoc model merging coefficients, potentially mitigating the train-inference inconsistency caused by introducing stochastic differential equation (SDE) in regular RL practices. Extensive experiments show our approach significantly improves FID-50K across various base models, from 8.30 to 5.77 for SiT and from 3.74 to 3.52 for EDM2. Qualitative evaluation also confirms that our method enhances perceptual quality while preserving sample diversity.