Spatiotemporele Skip-begeleiding voor Verbeterde Video Diffusie Bemonstering

Spatiotemporal Skip Guidance for Enhanced Video Diffusion Sampling

November 27, 2024

Auteurs: Junha Hyung, Kinam Kim, Susung Hong, Min-Jung Kim, Jaegul Choo

cs.AI

Samenvatting

Diffusiemodellen zijn naar voren gekomen als een krachtig instrument voor het genereren van hoogwaardige afbeeldingen, video's en 3D-inhoud. Hoewel bemonsteringsbegeleidingstechnieken zoals CFG de kwaliteit verbeteren, verminderen ze de diversiteit en beweging. Autobegeleiding vermindert deze problemen, maar vereist extra training van zwakke modellen, wat de praktische toepasbaarheid ervan voor grootschalige modellen beperkt. In dit werk introduceren we Spatiotemporele Skipbegeleiding (STG), een eenvoudige trainingsvrije bemonsteringsbegeleidingsmethode voor het verbeteren van op transformer gebaseerde video-diffusiemodellen. STG maakt gebruik van een impliciet zwak model via zelfverstoring, waardoor de noodzaak voor externe modellen of extra training wordt vermeden. Door selectief spatiotemporele lagen over te slaan, produceert STG een uitgelijnde, verslechterde versie van het originele model om de kwaliteit van de steekproef te verbeteren zonder de diversiteit of dynamiek in gevaar te brengen. Onze bijdragen omvatten: (1) de introductie van STG als een efficiënte, hoogwaardige begeleidingstechniek voor video-diffusiemodellen, (2) het elimineren van de noodzaak van hulpmodellen door het simuleren van een zwak model door het overslaan van lagen, en (3) het waarborgen van kwaliteitsverbeterde begeleiding zonder de steekproefdiversiteit of dynamiek in gevaar te brengen, in tegenstelling tot CFG. Voor aanvullende resultaten, bezoek https://junhahyung.github.io/STGuidance.

English

Diffusion models have emerged as a powerful tool for generating high-quality images, videos, and 3D content. While sampling guidance techniques like CFG improve quality, they reduce diversity and motion. Autoguidance mitigates these issues but demands extra weak model training, limiting its practicality for large-scale models. In this work, we introduce Spatiotemporal Skip Guidance (STG), a simple training-free sampling guidance method for enhancing transformer-based video diffusion models. STG employs an implicit weak model via self-perturbation, avoiding the need for external models or additional training. By selectively skipping spatiotemporal layers, STG produces an aligned, degraded version of the original model to boost sample quality without compromising diversity or dynamic degree. Our contributions include: (1) introducing STG as an efficient, high-performing guidance technique for video diffusion models, (2) eliminating the need for auxiliary models by simulating a weak model through layer skipping, and (3) ensuring quality-enhanced guidance without compromising sample diversity or dynamics unlike CFG. For additional results, visit https://junhahyung.github.io/STGuidance.