Schwache-zu-starke Diffusion mit Reflexion

Weak-to-Strong Diffusion with Reflection

February 1, 2025

Autoren: Lichen Bai, Masashi Sugiyama, Zeke Xie

cs.AI

Zusammenfassung

Das Ziel von Diffusions-generativen Modellen besteht darin, die erlernte Verteilung durch Gradienten-Score-Abgleich mit der tatsächlichen Datenverteilung in Einklang zu bringen. Allerdings führen inhärente Einschränkungen in der Qualität der Trainingsdaten, den Modellierungsstrategien und der architektonischen Gestaltung zu einer unvermeidlichen Kluft zwischen den generierten Ausgaben und den realen Daten. Um diese Kluft zu verringern, schlagen wir Weak-to-Strong Diffusion (W2SD) vor, ein neuartiges Framework, das den geschätzten Unterschied zwischen bestehenden schwachen und starken Modellen (d. h. schwach-zu-starker Unterschied) nutzt, um die Kluft zwischen einem idealen Modell und einem starken Modell zu approximieren. Durch den Einsatz einer reflektierenden Operation, die zwischen Rauschunterdrückung und Inversion mit dem schwach-zu-starken Unterschied wechselt, verstehen wir theoretisch, dass W2SD latente Variablen entlang der Abtasttrajektorien in Richtung der Bereiche der tatsächlichen Datenverteilung lenkt. W2SD ist äußerst flexibel und breit anwendbar, da es durch die strategische Auswahl von schwach-zu-starken Modellpaaren (z. B. DreamShaper vs. SD1.5, gute Experten vs. schlechte Experten in MoE) vielfältige Verbesserungen ermöglicht. Umfangreiche Experimente zeigen, dass W2SD die menschliche Präferenz, ästhetische Qualität und die Einhaltung von Vorgaben signifikant verbessert und dabei Spitzenleistungen in verschiedenen Modalitäten (z. B. Bild, Video), Architekturen (z. B. UNet-basiert, DiT-basiert, MoE) und Benchmarks erzielt. Zum Beispiel kann Juggernaut-XL mit W2SD die Gewinnrate des HPSv2 um bis zu 90 % gegenüber den Originalergebnissen verbessern. Darüber hinaus überwiegen die Leistungssteigerungen, die durch W2SD erzielt werden, deutlich den zusätzlichen Rechenaufwand, während die kumulativen Verbesserungen aus verschiedenen schwach-zu-starken Unterschieden seine praktische Nützlichkeit und Einsetzbarkeit weiter festigen.

English

The goal of diffusion generative models is to align the learned distribution with the real data distribution through gradient score matching. However, inherent limitations in training data quality, modeling strategies, and architectural design lead to inevitable gap between generated outputs and real data. To reduce this gap, we propose Weak-to-Strong Diffusion (W2SD), a novel framework that utilizes the estimated difference between existing weak and strong models (i.e., weak-to-strong difference) to approximate the gap between an ideal model and a strong model. By employing a reflective operation that alternates between denoising and inversion with weak-to-strong difference, we theoretically understand that W2SD steers latent variables along sampling trajectories toward regions of the real data distribution. W2SD is highly flexible and broadly applicable, enabling diverse improvements through the strategic selection of weak-to-strong model pairs (e.g., DreamShaper vs. SD1.5, good experts vs. bad experts in MoE). Extensive experiments demonstrate that W2SD significantly improves human preference, aesthetic quality, and prompt adherence, achieving SOTA performance across various modalities (e.g., image, video), architectures (e.g., UNet-based, DiT-based, MoE), and benchmarks. For example, Juggernaut-XL with W2SD can improve with the HPSv2 winning rate up to 90% over the original results. Moreover, the performance gains achieved by W2SD markedly outweigh its additional computational overhead, while the cumulative improvements from different weak-to-strong difference further solidify its practical utility and deployability.