Difusión de Débil a Fuerte con Reflexión

Weak-to-Strong Diffusion with Reflection

February 1, 2025

Autores: Lichen Bai, Masashi Sugiyama, Zeke Xie

cs.AI

Resumen

El objetivo de los modelos generativos de difusión es alinear la distribución aprendida con la distribución de datos reales a través del emparejamiento de puntuaciones de gradiente. Sin embargo, limitaciones inherentes en la calidad de los datos de entrenamiento, estrategias de modelado y diseño arquitectónico conducen a una brecha inevitable entre las salidas generadas y los datos reales. Para reducir esta brecha, proponemos Difusión de Débil a Fuerte (W2SD), un marco novedoso que utiliza la diferencia estimada entre modelos débiles y fuertes existentes (es decir, diferencia de débil a fuerte) para aproximar la brecha entre un modelo ideal y un modelo fuerte. Al emplear una operación reflexiva que alterna entre el desruido y la inversión con la diferencia de débil a fuerte, comprendemos teóricamente que W2SD dirige variables latentes a lo largo de trayectorias de muestreo hacia regiones de la distribución de datos reales. W2SD es altamente flexible y ampliamente aplicable, permitiendo diversas mejoras a través de la selección estratégica de pares de modelos de débil a fuerte (por ejemplo, DreamShaper vs. SD1.5, buenos expertos vs. malos expertos en MoE). Experimentos extensos demuestran que W2SD mejora significativamente la preferencia humana, la calidad estética y la adherencia a las indicaciones, logrando un rendimiento de vanguardia en diversas modalidades (por ejemplo, imagen, video), arquitecturas (por ejemplo, basadas en UNet, basadas en DiT, MoE) y pruebas comparativas. Por ejemplo, Juggernaut-XL con W2SD puede mejorar la tasa de victorias de HPSv2 hasta un 90% sobre los resultados originales. Además, las mejoras de rendimiento logradas por W2SD superan notablemente su sobrecarga computacional adicional, mientras que las mejoras acumulativas de diferentes diferencias de débil a fuerte refuerzan aún más su utilidad práctica y despliegue.

English

The goal of diffusion generative models is to align the learned distribution with the real data distribution through gradient score matching. However, inherent limitations in training data quality, modeling strategies, and architectural design lead to inevitable gap between generated outputs and real data. To reduce this gap, we propose Weak-to-Strong Diffusion (W2SD), a novel framework that utilizes the estimated difference between existing weak and strong models (i.e., weak-to-strong difference) to approximate the gap between an ideal model and a strong model. By employing a reflective operation that alternates between denoising and inversion with weak-to-strong difference, we theoretically understand that W2SD steers latent variables along sampling trajectories toward regions of the real data distribution. W2SD is highly flexible and broadly applicable, enabling diverse improvements through the strategic selection of weak-to-strong model pairs (e.g., DreamShaper vs. SD1.5, good experts vs. bad experts in MoE). Extensive experiments demonstrate that W2SD significantly improves human preference, aesthetic quality, and prompt adherence, achieving SOTA performance across various modalities (e.g., image, video), architectures (e.g., UNet-based, DiT-based, MoE), and benchmarks. For example, Juggernaut-XL with W2SD can improve with the HPSv2 winning rate up to 90% over the original results. Moreover, the performance gains achieved by W2SD markedly outweigh its additional computational overhead, while the cumulative improvements from different weak-to-strong difference further solidify its practical utility and deployability.