Высококачественная двухэтапная генерация изображений посредством сквозной дистилляции с выравниванием по учителю

Аннотация

Дистилляция с малым числом шагов стала все более зрелой для генерации за 4–8 шагов, однако дальнейшее сокращение до двух шагов остается сложной задачей. В данной работе мы представляем Z-Image Turbo++ — высококачественную модель генерации изображений за два шага, дистиллированную из 8-шагового учителя Z-Image Turbo. Наш метод устраняет основные узкие места, такие как повышенная сложность задачи и ограниченная емкость модели при двухшаговой генерации, с помощью трех простых, но эффективных проектных решений, адаптированных к данному режиму. Во-первых, мы предлагаем состязательное обучение с согласованием распределений, которое использует изображения, сгенерированные учителем, а не внешние реальные изображения в качестве реальных образцов для обучения GAN, что обеспечивает более достижимую и информативную состязательную цель. Во-вторых, мы принимаем параметризацию с разделением по шагам, назначая независимые параметры модели для двух шагов шумоподавления, чтобы лучше соответствовать их различным требованиям к емкости. В-третьих, мы выполняем сквозное обучение с итеративной регуляризацией, позволяя первому шагу получать градиенты от конечного качества изображения, сохраняя при этом осмысленную промежуточную генерацию через явную потерю на первом шаге. В совокупности эти проектные решения существенно сужают разрыв в качестве между двухшаговой и восьмишаговой генерацией как в качественных, так и в количественных оценках, подчеркивая потенциал тщательно адаптированных стратегий дистилляции для улучшения компромисса между качеством и эффективностью в генерации с малым числом шагов.

English

Few-step diffusion distillation has become increasingly mature for 4-8-step generation, yet pushing further to 2 steps remains challenging. In this work, we introduce Z-Image Turbo++, a high-quality 2-step image generation model distilled from the 8-step Z-Image Turbo teacher. Our method addresses the central bottlenecks of increased task difficulty and limited model capacity in 2-step generation through three simple but effective design choices tailored to this regime. First, we propose Distribution-Aligned Adversarial Learning, which uses teacher-generated images rather than external real images as real samples for GAN training, providing a more attainable and informative adversarial target. Second, we adopt Step-Decoupled Parameterization, assigning independent model parameters to the two denoising steps to better match their distinct capacity demands. Third, we perform End-to-End Training with Iterative Regularization, allowing the first step to receive gradients from final image quality while preserving a meaningful intermediate generation through an explicit step-1 loss. Together, these designs substantially narrow the quality gap between 2-step and 8-step generation in both qualitative and quantitative evaluations, highlighting the potential of carefully tailored distillation strategies for improving the quality-efficiency trade-off in few-step generation.