蒸留による画像超解像のためのワンステップ残差シフト拡散

要旨

超解像（SR）のための拡散モデルは高品質な視覚的結果を生成しますが、高い計算コストを必要とします。拡散ベースのSRモデルを加速するためのいくつかの手法が開発されているにもかかわらず、一部の手法（例：SinSR）は現実的な知覚的詳細を生成できず、他の手法（例：OSEDiff）は存在しない構造を幻覚的に生成する可能性があります。これらの問題を克服するために、我々はRSDを提案します。これは、トップクラスの拡散ベースSRモデルであるResShiftのための新しい蒸留手法です。我々の手法は、学生ネットワークを訓練して、それらの画像上で訓練された新しい偽のResShiftモデルが教師モデルと一致するような画像を生成することを基にしています。RSDは単一ステップでの復元を実現し、教師モデルを大幅に上回ります。我々の蒸留手法は、ResShiftの他の蒸留ベース手法であるSinSRを凌駕し、最先端の拡散ベースSR蒸留手法と同等の性能を達成できることを示します。事前訓練されたテキストから画像へのモデルに基づくSR手法と比較して、RSDは競争力のある知覚的品質を提供し、劣化した入力画像との整合性が高い画像を生成し、より少ないパラメータとGPUメモリを必要とします。我々は、RealSR、RealSet65、DRealSR、ImageNet、DIV2Kを含む様々な実世界および合成データセットでの実験結果を提供します。

English

Diffusion models for super-resolution (SR) produce high-quality visual results but require expensive computational costs. Despite the development of several methods to accelerate diffusion-based SR models, some (e.g., SinSR) fail to produce realistic perceptual details, while others (e.g., OSEDiff) may hallucinate non-existent structures. To overcome these issues, we present RSD, a new distillation method for ResShift, one of the top diffusion-based SR models. Our method is based on training the student network to produce such images that a new fake ResShift model trained on them will coincide with the teacher model. RSD achieves single-step restoration and outperforms the teacher by a large margin. We show that our distillation method can surpass the other distillation-based method for ResShift - SinSR - making it on par with state-of-the-art diffusion-based SR distillation methods. Compared to SR methods based on pre-trained text-to-image models, RSD produces competitive perceptual quality, provides images with better alignment to degraded input images, and requires fewer parameters and GPU memory. We provide experimental results on various real-world and synthetic datasets, including RealSR, RealSet65, DRealSR, ImageNet, and DIV2K.

蒸留による画像超解像のためのワンステップ残差シフト拡散

One-Step Residual Shifting Diffusion for Image Super-Resolution via Distillation

要旨

Support