Lotus: Modelo de Base Visual Basado en Difusión para Predicción Densa de Alta Calidad

Lotus: Diffusion-based Visual Foundation Model for High-quality Dense Prediction

September 26, 2024

Autores: Jing He, Haodong Li, Wei Yin, Yixun Liang, Leheng Li, Kaiqiang Zhou, Hongbo Liu, Bingbing Liu, Ying-Cong Chen

cs.AI

Resumen

Aprovechar los conocimientos visuales previos de los modelos de difusión texto-imagen pre-entrenados ofrece una solución prometedora para mejorar la generalización de cero disparos en tareas de predicción densa. Sin embargo, los métodos existentes a menudo utilizan de manera acrítica la formulación de difusión original, lo cual puede no ser óptimo debido a las diferencias fundamentales entre la predicción densa y la generación de imágenes. En este documento, proporcionamos un análisis sistemático de la formulación de difusión para la predicción densa, centrándonos en la calidad y la eficiencia. Descubrimos que el tipo de parametrización original para la generación de imágenes, que aprende a predecir ruido, es perjudicial para la predicción densa; el proceso de difusión de ruido/desruido de múltiples pasos también es innecesario y difícil de optimizar. Basándonos en estos conocimientos, presentamos Lotus, un modelo de base visual basado en difusión con un protocolo de adaptación simple pero efectivo para la predicción densa. Específicamente, Lotus se entrena para predecir directamente anotaciones en lugar de ruido, evitando así la varianza perjudicial. También reformulamos el proceso de difusión en un procedimiento de un solo paso, simplificando la optimización y aumentando significativamente la velocidad de inferencia. Además, introducimos una estrategia de ajuste novedosa llamada preservador de detalles, que logra predicciones más precisas y detalladas. Sin escalar los datos de entrenamiento o la capacidad del modelo, Lotus logra un rendimiento de última generación en la estimación de profundidad y normales de cero disparos en diversos conjuntos de datos. También mejora significativamente la eficiencia, siendo cientos de veces más rápido que la mayoría de los métodos basados en difusión existentes.

English

Leveraging the visual priors of pre-trained text-to-image diffusion models offers a promising solution to enhance zero-shot generalization in dense prediction tasks. However, existing methods often uncritically use the original diffusion formulation, which may not be optimal due to the fundamental differences between dense prediction and image generation. In this paper, we provide a systemic analysis of the diffusion formulation for the dense prediction, focusing on both quality and efficiency. And we find that the original parameterization type for image generation, which learns to predict noise, is harmful for dense prediction; the multi-step noising/denoising diffusion process is also unnecessary and challenging to optimize. Based on these insights, we introduce Lotus, a diffusion-based visual foundation model with a simple yet effective adaptation protocol for dense prediction. Specifically, Lotus is trained to directly predict annotations instead of noise, thereby avoiding harmful variance. We also reformulate the diffusion process into a single-step procedure, simplifying optimization and significantly boosting inference speed. Additionally, we introduce a novel tuning strategy called detail preserver, which achieves more accurate and fine-grained predictions. Without scaling up the training data or model capacity, Lotus achieves SoTA performance in zero-shot depth and normal estimation across various datasets. It also significantly enhances efficiency, being hundreds of times faster than most existing diffusion-based methods.