Lótus: Modelo de Fundação Visual Baseado em Difusão para Predição Densa de Alta Qualidade

Lotus: Diffusion-based Visual Foundation Model for High-quality Dense Prediction

September 26, 2024

Autores: Jing He, Haodong Li, Wei Yin, Yixun Liang, Leheng Li, Kaiqiang Zhou, Hongbo Liu, Bingbing Liu, Ying-Cong Chen

cs.AI

Resumo

Aproveitar os precursores visuais de modelos de difusão pré-treinados de texto para imagem oferece uma solução promissora para aprimorar a generalização de zero-shot em tarefas de predição densa. No entanto, os métodos existentes frequentemente utilizam a formulação original de difusão de forma acrítica, o que pode não ser ótimo devido às diferenças fundamentais entre predição densa e geração de imagem. Neste artigo, fornecemos uma análise sistemática da formulação de difusão para predição densa, focando tanto na qualidade quanto na eficiência. Descobrimos que o tipo original de parametrização para geração de imagem, que aprende a prever ruído, é prejudicial para a predição densa; o processo de difusão de múltiplas etapas de adição/remoção de ruído também é desnecessário e desafiador de otimizar. Com base nessas percepções, apresentamos o Lotus, um modelo de base visual baseado em difusão com um protocolo de adaptação simples, porém eficaz, para predição densa. Especificamente, o Lotus é treinado para prever diretamente anotações em vez de ruído, evitando assim a variância prejudicial. Também reformulamos o processo de difusão em um procedimento de uma única etapa, simplificando a otimização e aumentando significativamente a velocidade de inferência. Além disso, introduzimos uma nova estratégia de ajuste chamada preservador de detalhes, que alcança previsões mais precisas e refinadas. Sem aumentar os dados de treinamento ou a capacidade do modelo, o Lotus alcança desempenho de estado da arte na estimativa de profundidade e normais de zero-shot em vários conjuntos de dados. Ele também aprimora significativamente a eficiência, sendo centenas de vezes mais rápido do que a maioria dos métodos baseados em difusão existentes.

English

Leveraging the visual priors of pre-trained text-to-image diffusion models offers a promising solution to enhance zero-shot generalization in dense prediction tasks. However, existing methods often uncritically use the original diffusion formulation, which may not be optimal due to the fundamental differences between dense prediction and image generation. In this paper, we provide a systemic analysis of the diffusion formulation for the dense prediction, focusing on both quality and efficiency. And we find that the original parameterization type for image generation, which learns to predict noise, is harmful for dense prediction; the multi-step noising/denoising diffusion process is also unnecessary and challenging to optimize. Based on these insights, we introduce Lotus, a diffusion-based visual foundation model with a simple yet effective adaptation protocol for dense prediction. Specifically, Lotus is trained to directly predict annotations instead of noise, thereby avoiding harmful variance. We also reformulate the diffusion process into a single-step procedure, simplifying optimization and significantly boosting inference speed. Additionally, we introduce a novel tuning strategy called detail preserver, which achieves more accurate and fine-grained predictions. Without scaling up the training data or model capacity, Lotus achieves SoTA performance in zero-shot depth and normal estimation across various datasets. It also significantly enhances efficiency, being hundreds of times faster than most existing diffusion-based methods.