Spatiotemporele Skip-begeleiding voor Verbeterde Video Diffusie Bemonstering
Spatiotemporal Skip Guidance for Enhanced Video Diffusion Sampling
November 27, 2024
Auteurs: Junha Hyung, Kinam Kim, Susung Hong, Min-Jung Kim, Jaegul Choo
cs.AI
Samenvatting
Diffusiemodellen zijn naar voren gekomen als een krachtig instrument voor het genereren van hoogwaardige afbeeldingen, video's en 3D-inhoud. Hoewel bemonsteringsbegeleidingstechnieken zoals CFG de kwaliteit verbeteren, verminderen ze de diversiteit en beweging. Autobegeleiding vermindert deze problemen, maar vereist extra training van zwakke modellen, wat de praktische toepasbaarheid ervan voor grootschalige modellen beperkt. In dit werk introduceren we Spatiotemporele Skipbegeleiding (STG), een eenvoudige trainingsvrije bemonsteringsbegeleidingsmethode voor het verbeteren van op transformer gebaseerde video-diffusiemodellen. STG maakt gebruik van een impliciet zwak model via zelfverstoring, waardoor de noodzaak voor externe modellen of extra training wordt vermeden. Door selectief spatiotemporele lagen over te slaan, produceert STG een uitgelijnde, verslechterde versie van het originele model om de kwaliteit van de steekproef te verbeteren zonder de diversiteit of dynamiek in gevaar te brengen. Onze bijdragen omvatten: (1) de introductie van STG als een efficiënte, hoogwaardige begeleidingstechniek voor video-diffusiemodellen, (2) het elimineren van de noodzaak van hulpmodellen door het simuleren van een zwak model door het overslaan van lagen, en (3) het waarborgen van kwaliteitsverbeterde begeleiding zonder de steekproefdiversiteit of dynamiek in gevaar te brengen, in tegenstelling tot CFG. Voor aanvullende resultaten, bezoek https://junhahyung.github.io/STGuidance.
English
Diffusion models have emerged as a powerful tool for generating high-quality
images, videos, and 3D content. While sampling guidance techniques like CFG
improve quality, they reduce diversity and motion. Autoguidance mitigates these
issues but demands extra weak model training, limiting its practicality for
large-scale models. In this work, we introduce Spatiotemporal Skip Guidance
(STG), a simple training-free sampling guidance method for enhancing
transformer-based video diffusion models. STG employs an implicit weak model
via self-perturbation, avoiding the need for external models or additional
training. By selectively skipping spatiotemporal layers, STG produces an
aligned, degraded version of the original model to boost sample quality without
compromising diversity or dynamic degree. Our contributions include: (1)
introducing STG as an efficient, high-performing guidance technique for video
diffusion models, (2) eliminating the need for auxiliary models by simulating a
weak model through layer skipping, and (3) ensuring quality-enhanced guidance
without compromising sample diversity or dynamics unlike CFG. For additional
results, visit https://junhahyung.github.io/STGuidance.