Hyper-SD: 効率的な画像合成のための軌跡分割整合性モデル

Hyper-SD: Trajectory Segmented Consistency Model for Efficient Image Synthesis

April 21, 2024

著者: Yuxi Ren, Xin Xia, Yanzuo Lu, Jiacheng Zhang, Jie Wu, Pan Xie, Xing Wang, Xuefeng Xiao

cs.AI

要旨

最近、拡散モデル（DMs）の多段階推論プロセスに伴う計算オーバーヘッドを軽減するために、一連の拡散対応蒸留アルゴリズムが登場しています。現在の蒸留技術は、しばしば二つの異なる側面に二分されます：i) ODE軌道保存；およびii) ODE軌道再定式化。しかし、これらのアプローチは深刻な性能低下やドメインシフトに悩まされています。これらの制限に対処するため、我々はHyper-SDを提案します。これは、ODE軌道保存と再定式化の利点を相乗的に統合し、ステップ圧縮中にほぼ無損失の性能を維持する新しいフレームワークです。まず、事前に定義された時間ステップセグメント内で一貫した蒸留を段階的に実行する「軌道分割一貫性蒸留」を導入し、高次元の視点から元のODE軌道を保存することを容易にします。次に、人間のフィードバック学習を組み込むことで、低ステップ領域でのモデルの性能を向上させ、蒸留プロセスによる性能損失を軽減します。さらに、スコア蒸留を統合してモデルの低ステップ生成能力をさらに向上させ、すべてのステップで推論プロセスをサポートする統一されたLoRAを活用する初の試みを提供します。広範な実験とユーザー調査により、Hyper-SDがSDXLとSD1.5の両方で1から8推論ステップにおいてSOTA性能を達成することが示されています。例えば、Hyper-SDXLは1ステップ推論において、SDXL-LightningをCLIPスコアで+0.68、Aesスコアで+0.51上回ります。

English

Recently, a series of diffusion-aware distillation algorithms have emerged to alleviate the computational overhead associated with the multi-step inference process of Diffusion Models (DMs). Current distillation techniques often dichotomize into two distinct aspects: i) ODE Trajectory Preservation; and ii) ODE Trajectory Reformulation. However, these approaches suffer from severe performance degradation or domain shifts. To address these limitations, we propose Hyper-SD, a novel framework that synergistically amalgamates the advantages of ODE Trajectory Preservation and Reformulation, while maintaining near-lossless performance during step compression. Firstly, we introduce Trajectory Segmented Consistency Distillation to progressively perform consistent distillation within pre-defined time-step segments, which facilitates the preservation of the original ODE trajectory from a higher-order perspective. Secondly, we incorporate human feedback learning to boost the performance of the model in a low-step regime and mitigate the performance loss incurred by the distillation process. Thirdly, we integrate score distillation to further improve the low-step generation capability of the model and offer the first attempt to leverage a unified LoRA to support the inference process at all steps. Extensive experiments and user studies demonstrate that Hyper-SD achieves SOTA performance from 1 to 8 inference steps for both SDXL and SD1.5. For example, Hyper-SDXL surpasses SDXL-Lightning by +0.68 in CLIP Score and +0.51 in Aes Score in the 1-step inference.