Lotus: 高品質な密な予測のための拡散ベースのビジュアル基盤モデル

Lotus: Diffusion-based Visual Foundation Model for High-quality Dense Prediction

September 26, 2024

著者: Jing He, Haodong Li, Wei Yin, Yixun Liang, Leheng Li, Kaiqiang Zhou, Hongbo Liu, Bingbing Liu, Ying-Cong Chen

cs.AI

要旨

事前にトレーニングされたテキストから画像への拡散モデルの視覚的先行要素を活用することは、密な予測タスクにおけるゼロショットの汎化を向上させる有望な解決策を提供します。ただし、既存の手法はしばしば元の拡散式を無批判に使用しており、これは密な予測と画像生成との根本的な違いにより最適でない可能性があります。本論文では、密な予測のための拡散式について、品質と効率の両方に焦点を当てた体系的な分析を提供します。そして、画像生成のための元のパラメータ化タイプは、ノイズを予測することを学習することが密な予測にとって有害であること、また、複数段階のノイズ付加/除去拡散プロセスも不要で最適化が難しいことがわかりました。これらの知見に基づいて、Lotusという、密な予測向けのシンプルかつ効果的な適応プロトコルを持つ拡散ベースの視覚基盤モデルを紹介します。具体的には、Lotusは、有害な分散を回避するために、ノイズではなく注釈を直接予測するようにトレーニングされています。また、拡散プロセスを単一段階の手順に再定式化し、最適化を簡素化し、推論速度を大幅に向上させています。さらに、より正確で細かい予測を実現する新しい調整戦略であるディテールプリザーバーを導入しています。トレーニングデータやモデル容量を拡大することなく、Lotusは、さまざまなデータセットでゼロショットの深度および法線推定においてSoTAのパフォーマンスを達成しています。また、多くの既存の拡散ベースの手法よりも数百倍高速であるため、効率を著しく向上させています。

English

Leveraging the visual priors of pre-trained text-to-image diffusion models offers a promising solution to enhance zero-shot generalization in dense prediction tasks. However, existing methods often uncritically use the original diffusion formulation, which may not be optimal due to the fundamental differences between dense prediction and image generation. In this paper, we provide a systemic analysis of the diffusion formulation for the dense prediction, focusing on both quality and efficiency. And we find that the original parameterization type for image generation, which learns to predict noise, is harmful for dense prediction; the multi-step noising/denoising diffusion process is also unnecessary and challenging to optimize. Based on these insights, we introduce Lotus, a diffusion-based visual foundation model with a simple yet effective adaptation protocol for dense prediction. Specifically, Lotus is trained to directly predict annotations instead of noise, thereby avoiding harmful variance. We also reformulate the diffusion process into a single-step procedure, simplifying optimization and significantly boosting inference speed. Additionally, we introduce a novel tuning strategy called detail preserver, which achieves more accurate and fine-grained predictions. Without scaling up the training data or model capacity, Lotus achieves SoTA performance in zero-shot depth and normal estimation across various datasets. It also significantly enhances efficiency, being hundreds of times faster than most existing diffusion-based methods.