Лотос: Модель визуального фундамента на основе диффузии для высококачественного плотного прогнозирования

Lotus: Diffusion-based Visual Foundation Model for High-quality Dense Prediction

September 26, 2024

Авторы: Jing He, Haodong Li, Wei Yin, Yixun Liang, Leheng Li, Kaiqiang Zhou, Hongbo Liu, Bingbing Liu, Ying-Cong Chen

cs.AI

Аннотация

Использование визуальных априорных данных предварительно обученных моделей диффузии текста в изображение предлагает многообещающее решение для улучшения обобщения без обучающих примеров в задачах плотного прогнозирования. Однако существующие методы часто бездумно используют исходную формулировку диффузии, что может быть неоптимальным из-за фундаментальных различий между плотным прогнозированием и генерацией изображений. В данной статье мы предоставляем системный анализ формулировки диффузии для плотного прогнозирования, сосредотачиваясь на качестве и эффективности. Мы обнаружили, что исходный тип параметризации для генерации изображений, который обучается предсказывать шум, вреден для плотного прогнозирования; многошаговый процесс диффузии с добавлением/удалением шума также излишен и сложен для оптимизации. Исходя из этих выводов, мы представляем Lotus, модель визуального фундамента на основе диффузии с простым, но эффективным протоколом адаптации для плотного прогнозирования. Конкретно, Lotus обучается непосредственно предсказывать аннотации вместо шума, тем самым избегая вредной дисперсии. Мы также переформулируем процесс диффузии в одношаговую процедуру, упрощая оптимизацию и значительно увеличивая скорость вывода. Кроме того, мы представляем новую стратегию настройки под названием "сохранитель деталей", которая обеспечивает более точные и детализированные прогнозы. Без увеличения объема обучающих данных или мощности модели, Lotus достигает лучших показателей в задачах нулевого прогнозирования глубины и нормали на различных наборах данных. Он также значительно повышает эффективность, будучи в сотни раз быстрее, чем большинство существующих методов на основе диффузии.

English

Leveraging the visual priors of pre-trained text-to-image diffusion models offers a promising solution to enhance zero-shot generalization in dense prediction tasks. However, existing methods often uncritically use the original diffusion formulation, which may not be optimal due to the fundamental differences between dense prediction and image generation. In this paper, we provide a systemic analysis of the diffusion formulation for the dense prediction, focusing on both quality and efficiency. And we find that the original parameterization type for image generation, which learns to predict noise, is harmful for dense prediction; the multi-step noising/denoising diffusion process is also unnecessary and challenging to optimize. Based on these insights, we introduce Lotus, a diffusion-based visual foundation model with a simple yet effective adaptation protocol for dense prediction. Specifically, Lotus is trained to directly predict annotations instead of noise, thereby avoiding harmful variance. We also reformulate the diffusion process into a single-step procedure, simplifying optimization and significantly boosting inference speed. Additionally, we introduce a novel tuning strategy called detail preserver, which achieves more accurate and fine-grained predictions. Without scaling up the training data or model capacity, Lotus achieves SoTA performance in zero-shot depth and normal estimation across various datasets. It also significantly enhances efficiency, being hundreds of times faster than most existing diffusion-based methods.