Größer ist nicht immer besser: Skalierungseigenschaften latenter Diffusionsmodelle

Bigger is not Always Better: Scaling Properties of Latent Diffusion Models

April 1, 2024

Autoren: Kangfu Mei, Zhengzhong Tu, Mauricio Delbracio, Hossein Talebi, Vishal M. Patel, Peyman Milanfar

cs.AI

Zusammenfassung

Wir untersuchen die Skalierungseigenschaften von Latent Diffusion Models (LDMs) mit einem Schwerpunkt auf ihrer Probenahmeeffizienz. Während verbesserte Netzwerkarchitekturen und Inferenzalgorithmen gezeigt haben, dass sie die Probenahmeeffizienz von Diffusionsmodellen effektiv steigern können, wurde die Rolle der Modellgröße – ein entscheidender Faktor für die Probenahmeeffizienz – bisher nicht gründlich untersucht. Durch empirische Analyse etablierter Text-zu-Bild-Diffusionsmodelle führen wir eine eingehende Untersuchung darüber durch, wie die Modellgröße die Probenahmeeffizienz über verschiedene Probenahmeschritte hinweg beeinflusst. Unsere Ergebnisse enthüllen einen überraschenden Trend: Bei einem gegebenen Inferenzbudget erzielen kleinere Modelle häufig bessere Ergebnisse in der Erzeugung hochwertiger Resultate als ihre größeren Äquivalente. Darüber hinaus erweitern wir unsere Studie, um die Generalisierbarkeit dieser Ergebnisse zu demonstrieren, indem wir verschiedene Diffusionsprobenahmegeräte anwenden, verschiedene nachgelagerte Aufgaben erkunden, nachdestillierte Modelle bewerten und die Leistung im Verhältnis zum Trainingsaufwand vergleichen. Diese Ergebnisse eröffnen neue Wege für die Entwicklung von LDM-Skalierungsstrategien, die eingesetzt werden können, um die generativen Fähigkeiten innerhalb begrenzter Inferenzbudgets zu verbessern.

English

We study the scaling properties of latent diffusion models (LDMs) with an emphasis on their sampling efficiency. While improved network architecture and inference algorithms have shown to effectively boost sampling efficiency of diffusion models, the role of model size -- a critical determinant of sampling efficiency -- has not been thoroughly examined. Through empirical analysis of established text-to-image diffusion models, we conduct an in-depth investigation into how model size influences sampling efficiency across varying sampling steps. Our findings unveil a surprising trend: when operating under a given inference budget, smaller models frequently outperform their larger equivalents in generating high-quality results. Moreover, we extend our study to demonstrate the generalizability of the these findings by applying various diffusion samplers, exploring diverse downstream tasks, evaluating post-distilled models, as well as comparing performance relative to training compute. These findings open up new pathways for the development of LDM scaling strategies which can be employed to enhance generative capabilities within limited inference budgets.