Lotus : Modèle de Fondation Visuelle basé sur la Diffusion pour des Prédictions Denses de Haute Qualité

Lotus: Diffusion-based Visual Foundation Model for High-quality Dense Prediction

September 26, 2024

Auteurs: Jing He, Haodong Li, Wei Yin, Yixun Liang, Leheng Li, Kaiqiang Zhou, Hongbo Liu, Bingbing Liu, Ying-Cong Chen

cs.AI

Résumé

Exploiter les préférences visuelles des modèles de diffusion texte-image pré-entraînés offre une solution prometteuse pour améliorer la généralisation sans étiquette dans les tâches de prédiction dense. Cependant, les méthodes existantes utilisent souvent de manière incritique la formulation de diffusion originale, qui peut ne pas être optimale en raison des différences fondamentales entre la prédiction dense et la génération d'images. Dans cet article, nous proposons une analyse systémique de la formulation de diffusion pour la prédiction dense, en mettant l'accent sur la qualité et l'efficacité. Nous constatons que le type de paramétrage original pour la génération d'images, qui apprend à prédire du bruit, est nuisible pour la prédiction dense ; le processus de diffusion à plusieurs étapes de bruitage/débruitage est également inutile et difficile à optimiser. Sur la base de ces observations, nous présentons Lotus, un modèle de base visuelle basé sur la diffusion avec un protocole d'adaptation simple mais efficace pour la prédiction dense. Plus précisément, Lotus est formé pour prédire directement des annotations au lieu de bruit, évitant ainsi une variance nuisible. Nous reformulons également le processus de diffusion en une procédure en une seule étape, simplifiant l'optimisation et augmentant significativement la vitesse d'inférence. De plus, nous introduisons une nouvelle stratégie d'ajustement appelée conservateur de détails, qui permet d'obtenir des prédictions plus précises et détaillées. Sans augmenter les données d'entraînement ou la capacité du modèle, Lotus atteint des performances de pointe en estimation de profondeur et de normales sans étiquette sur divers ensembles de données. Il améliore également considérablement l'efficacité, étant des centaines de fois plus rapide que la plupart des méthodes de diffusion existantes.

English

Leveraging the visual priors of pre-trained text-to-image diffusion models offers a promising solution to enhance zero-shot generalization in dense prediction tasks. However, existing methods often uncritically use the original diffusion formulation, which may not be optimal due to the fundamental differences between dense prediction and image generation. In this paper, we provide a systemic analysis of the diffusion formulation for the dense prediction, focusing on both quality and efficiency. And we find that the original parameterization type for image generation, which learns to predict noise, is harmful for dense prediction; the multi-step noising/denoising diffusion process is also unnecessary and challenging to optimize. Based on these insights, we introduce Lotus, a diffusion-based visual foundation model with a simple yet effective adaptation protocol for dense prediction. Specifically, Lotus is trained to directly predict annotations instead of noise, thereby avoiding harmful variance. We also reformulate the diffusion process into a single-step procedure, simplifying optimization and significantly boosting inference speed. Additionally, we introduce a novel tuning strategy called detail preserver, which achieves more accurate and fine-grained predictions. Without scaling up the training data or model capacity, Lotus achieves SoTA performance in zero-shot depth and normal estimation across various datasets. It also significantly enhances efficiency, being hundreds of times faster than most existing diffusion-based methods.