Пространственно-временное руководство пропускания для улучшенной выборки диффузии видео.

Spatiotemporal Skip Guidance for Enhanced Video Diffusion Sampling

November 27, 2024

Авторы: Junha Hyung, Kinam Kim, Susung Hong, Min-Jung Kim, Jaegul Choo

cs.AI

Аннотация

Модели диффузии стали мощным инструментом для создания изображений, видео и трехмерного контента высокого качества. Хотя техники направленного сэмплирования, такие как CFG, улучшают качество, они снижают разнообразие и движение. Автонаправление смягчает эти проблемы, но требует дополнительного обучения слабой модели, что ограничивает ее практичность для моделей крупномасштабного использования. В данной работе мы представляем Пространственно-временное Пропускное Направление (STG) - простой метод направленного сэмплирования без обучения для улучшения видео-моделей диффузии на основе трансформеров. STG использует неявную слабую модель через самопертурбацию, избегая необходимости внешних моделей или дополнительного обучения. Путем выборочного пропуска пространственно-временных слоев STG создает выровненную, деградированную версию исходной модели для повышения качества выборки без ущерба разнообразию или динамике. Наши вклады включают: (1) представление STG как эффективной, высокопроизводительной техники направленного сэмплирования для видео-моделей диффузии, (2) устранение необходимости во вспомогательных моделях путем имитации слабой модели через пропуск слоев и (3) обеспечение улучшенного качества направления без ущерба разнообразию или динамике выборки, в отличие от CFG. Дополнительные результаты доступны по ссылке https://junhahyung.github.io/STGuidance.

English

Diffusion models have emerged as a powerful tool for generating high-quality images, videos, and 3D content. While sampling guidance techniques like CFG improve quality, they reduce diversity and motion. Autoguidance mitigates these issues but demands extra weak model training, limiting its practicality for large-scale models. In this work, we introduce Spatiotemporal Skip Guidance (STG), a simple training-free sampling guidance method for enhancing transformer-based video diffusion models. STG employs an implicit weak model via self-perturbation, avoiding the need for external models or additional training. By selectively skipping spatiotemporal layers, STG produces an aligned, degraded version of the original model to boost sample quality without compromising diversity or dynamic degree. Our contributions include: (1) introducing STG as an efficient, high-performing guidance technique for video diffusion models, (2) eliminating the need for auxiliary models by simulating a weak model through layer skipping, and (3) ensuring quality-enhanced guidance without compromising sample diversity or dynamics unlike CFG. For additional results, visit https://junhahyung.github.io/STGuidance.