軌道一貫性蒸留

要旨

Latent Consistency Model (LCM)は、Consistency Modelを潜在空間に拡張し、ガイド付き一貫性蒸留技術を活用することで、テキストから画像への合成を加速する際に印象的な性能を発揮します。しかし、LCMは明瞭さと詳細な複雑さを兼ね備えた画像の生成に苦戦することが観察されました。この制約に対処するため、私たちはまずその根本的な原因を探求し、解明します。調査の結果、主な問題は3つの異なる領域における誤差に起因することが明らかになりました。そこで、Trajectory Consistency Distillation (TCD)を導入します。TCDは、軌道一貫性関数と戦略的確率的サンプリングを包含しています。軌道一貫性関数は、自己一貫性境界条件の範囲を拡大することで蒸留誤差を低減し、TCDにProbability Flow ODEの全軌跡を正確に追跡する能力を付与します。さらに、戦略的確率的サンプリングは、多段階一貫性サンプリングに内在する累積誤差を回避するために特別に設計されており、TCDモデルを補完するように緻密に調整されています。実験結果は、TCDが低NFEsにおいて画像品質を大幅に向上させるだけでなく、高NFEsにおいても教師モデルと比較してより詳細な結果をもたらすことを示しています。

English

Latent Consistency Model (LCM) extends the Consistency Model to the latent space and leverages the guided consistency distillation technique to achieve impressive performance in accelerating text-to-image synthesis. However, we observed that LCM struggles to generate images with both clarity and detailed intricacy. To address this limitation, we initially delve into and elucidate the underlying causes. Our investigation identifies that the primary issue stems from errors in three distinct areas. Consequently, we introduce Trajectory Consistency Distillation (TCD), which encompasses trajectory consistency function and strategic stochastic sampling. The trajectory consistency function diminishes the distillation errors by broadening the scope of the self-consistency boundary condition and endowing the TCD with the ability to accurately trace the entire trajectory of the Probability Flow ODE. Additionally, strategic stochastic sampling is specifically designed to circumvent the accumulated errors inherent in multi-step consistency sampling, which is meticulously tailored to complement the TCD model. Experiments demonstrate that TCD not only significantly enhances image quality at low NFEs but also yields more detailed results compared to the teacher model at high NFEs.