SD3.5-Flash: Распределение-ориентированная дистилляция генеративных потоков

SD3.5-Flash: Distribution-Guided Distillation of Generative Flows

September 25, 2025

Авторы: Hmrishav Bandyopadhyay, Rahim Entezari, Jim Scott, Reshinth Adithyan, Yi-Zhe Song, Varun Jampani

cs.AI

Аннотация

Мы представляем SD3.5-Flash, эффективную фреймворк дистилляции с малым количеством шагов, которая обеспечивает генерацию высококачественных изображений на доступных потребительских устройствах. Наш подход дистиллирует вычислительно сложные модели с исправленным потоком через переформулированную цель согласования распределений, специально адаптированную для генерации с малым количеством шагов. Мы вводим два ключевых новшества: "совместное использование временных шагов" для уменьшения шума градиента и "тонкую настройку с разделением временных шагов" для улучшения соответствия запросам. В сочетании с комплексной оптимизацией конвейера, такой как реструктуризация текстового кодировщика и специализированная квантизация, наша система обеспечивает как быструю генерацию, так и эффективное использование памяти на различных аппаратных конфигурациях. Это делает технологию доступной для всего спектра устройств, от мобильных телефонов до настольных компьютеров. Благодаря обширной оценке, включая масштабные пользовательские исследования, мы демонстрируем, что SD3.5-Flash стабильно превосходит существующие методы с малым количеством шагов, делая передовые технологии генеративного ИИ действительно доступными для практического внедрения.

English

We present SD3.5-Flash, an efficient few-step distillation framework that brings high-quality image generation to accessible consumer devices. Our approach distills computationally prohibitive rectified flow models through a reformulated distribution matching objective tailored specifically for few-step generation. We introduce two key innovations: "timestep sharing" to reduce gradient noise and "split-timestep fine-tuning" to improve prompt alignment. Combined with comprehensive pipeline optimizations like text encoder restructuring and specialized quantization, our system enables both rapid generation and memory-efficient deployment across different hardware configurations. This democratizes access across the full spectrum of devices, from mobile phones to desktop computers. Through extensive evaluation including large-scale user studies, we demonstrate that SD3.5-Flash consistently outperforms existing few-step methods, making advanced generative AI truly accessible for practical deployment.