Spatiotemporaler Skip-Leitfaden zur Verbesserung der Video-Diffusionssampling

Spatiotemporal Skip Guidance for Enhanced Video Diffusion Sampling

November 27, 2024

Autoren: Junha Hyung, Kinam Kim, Susung Hong, Min-Jung Kim, Jaegul Choo

cs.AI

Zusammenfassung

Diffusionsmodelle haben sich als leistungsstarkes Werkzeug zur Erzeugung hochwertiger Bilder, Videos und 3D-Inhalte etabliert. Während Abtastführungstechniken wie CFG die Qualität verbessern, reduzieren sie Vielfalt und Bewegung. Autoguidance mildert diese Probleme, erfordert jedoch zusätzliches Training eines schwachen Modells, was seine Praktikabilität für groß angelegte Modelle einschränkt. In dieser Arbeit stellen wir Spatiotemporal Skip Guidance (STG) vor, eine einfache, trainingfreie Abtastführungsmethode zur Verbesserung von Video-Diffusionsmodellen auf Basis von Transformatoren. STG verwendet ein implizites schwaches Modell durch Selbststörung und vermeidet so die Notwendigkeit externer Modelle oder zusätzlichen Trainings. Durch selektives Überspringen von spatiotemporalen Schichten erzeugt STG eine ausgerichtete, degradierte Version des Originalmodells, um die Qualität der Proben zu steigern, ohne Vielfalt oder Dynamik zu beeinträchtigen. Unsere Beiträge umfassen: (1) die Einführung von STG als effiziente, leistungsstarke Führungstechnik für Video-Diffusionsmodelle, (2) die Beseitigung des Bedarfs an Hilfsmodellen durch Simulation eines schwachen Modells durch Schichtüberspringen und (3) die Sicherstellung einer qualitätsverbesserten Führung, ohne die Vielfalt oder Dynamik der Proben zu beeinträchtigen, im Gegensatz zu CFG. Für weitere Ergebnisse besuchen Sie https://junhahyung.github.io/STGuidance.

English

Diffusion models have emerged as a powerful tool for generating high-quality images, videos, and 3D content. While sampling guidance techniques like CFG improve quality, they reduce diversity and motion. Autoguidance mitigates these issues but demands extra weak model training, limiting its practicality for large-scale models. In this work, we introduce Spatiotemporal Skip Guidance (STG), a simple training-free sampling guidance method for enhancing transformer-based video diffusion models. STG employs an implicit weak model via self-perturbation, avoiding the need for external models or additional training. By selectively skipping spatiotemporal layers, STG produces an aligned, degraded version of the original model to boost sample quality without compromising diversity or dynamic degree. Our contributions include: (1) introducing STG as an efficient, high-performing guidance technique for video diffusion models, (2) eliminating the need for auxiliary models by simulating a weak model through layer skipping, and (3) ensuring quality-enhanced guidance without compromising sample diversity or dynamics unlike CFG. For additional results, visit https://junhahyung.github.io/STGuidance.