T-Stitch: Versnelling van Sampling in Vooraf Getrainde Diffusiemodellen met Trajectoriestikwerk
T-Stitch: Accelerating Sampling in Pre-Trained Diffusion Models with Trajectory Stitching
February 21, 2024
Auteurs: Zizheng Pan, Bohan Zhuang, De-An Huang, Weili Nie, Zhiding Yu, Chaowei Xiao, Jianfei Cai, Anima Anandkumar
cs.AI
Samenvatting
Sampling uit diffusion probabilistische modellen (DPM's) is vaak kostbaar voor
het genereren van hoogwaardige afbeeldingen en vereist doorgaans veel stappen met een groot
model. In dit artikel introduceren we Trajectory Stitching T-Stitch, een
eenvoudige maar efficiënte techniek om de samplingefficiëntie te verbeteren met weinig
of geen verlies in generatiekwaliteit. In plaats van uitsluitend een groot DPM te gebruiken voor het
volledige samplingtraject, maakt T-Stitch eerst gebruik van een kleiner DPM in de
initiële stappen als een goedkope vervanging van het grotere DPM en schakelt over naar
het grotere DPM in een later stadium. Onze belangrijkste inzicht is dat verschillende diffusion
modellen vergelijkbare coderingen leren onder dezelfde trainingsdatadistributie en
kleinere modellen in staat zijn om goede globale structuren te genereren in de vroege
stappen. Uitgebreide experimenten tonen aan dat T-Stitch training-vrij is,
algemeen toepasbaar voor verschillende architecturen, en de meeste bestaande
snelle samplingtechnieken aanvult met flexibele snelheids- en kwaliteitsafwegingen. Op DiT-XL,
kan bijvoorbeeld 40% van de vroege tijdstappen veilig worden vervangen door een 10x
snellere DiT-S zonder prestatieverlies bij klasse-conditionele ImageNet-generatie.
We laten verder zien dat onze methode ook kan worden gebruikt als een drop-in techniek om niet
alleen de populaire voorgetrainde stable diffusion (SD) modellen te versnellen, maar ook
de promptafstemming van gestileerde SD-modellen uit de publieke modelzoo te verbeteren.
Code is vrijgegeven op https://github.com/NVlabs/T-Stitch.
English
Sampling from diffusion probabilistic models (DPMs) is often expensive for
high-quality image generation and typically requires many steps with a large
model. In this paper, we introduce sampling Trajectory Stitching T-Stitch, a
simple yet efficient technique to improve the sampling efficiency with little
or no generation degradation. Instead of solely using a large DPM for the
entire sampling trajectory, T-Stitch first leverages a smaller DPM in the
initial steps as a cheap drop-in replacement of the larger DPM and switches to
the larger DPM at a later stage. Our key insight is that different diffusion
models learn similar encodings under the same training data distribution and
smaller models are capable of generating good global structures in the early
steps. Extensive experiments demonstrate that T-Stitch is training-free,
generally applicable for different architectures, and complements most existing
fast sampling techniques with flexible speed and quality trade-offs. On DiT-XL,
for example, 40% of the early timesteps can be safely replaced with a 10x
faster DiT-S without performance drop on class-conditional ImageNet generation.
We further show that our method can also be used as a drop-in technique to not
only accelerate the popular pretrained stable diffusion (SD) models but also
improve the prompt alignment of stylized SD models from the public model zoo.
Code is released at https://github.com/NVlabs/T-Stitch