Lotus: Diffusionsbasiertes visuelles Grundlagenmodell für hochwertige dichte Vorhersage

Lotus: Diffusion-based Visual Foundation Model for High-quality Dense Prediction

September 26, 2024

Autoren: Jing He, Haodong Li, Wei Yin, Yixun Liang, Leheng Li, Kaiqiang Zhou, Hongbo Liu, Bingbing Liu, Ying-Cong Chen

cs.AI

Zusammenfassung

Durch die Nutzung der visuellen Vorkenntnisse von vortrainierten Text-zu-Bild-Diffusionsmodellen wird eine vielversprechende Lösung geboten, um die Null-Schuss-Verallgemeinerung bei dichten Vorhersageaufgaben zu verbessern. Allerdings verwenden bestehende Methoden oft unkritisch die originale Diffusionsformulierung, die aufgrund der grundlegenden Unterschiede zwischen dichten Vorhersagen und Bildgenerierung möglicherweise nicht optimal ist. In diesem Paper bieten wir eine systematische Analyse der Diffusionsformulierung für die dichte Vorhersage, wobei wir uns auf Qualität und Effizienz konzentrieren. Wir stellen fest, dass der ursprüngliche Parametertyp für die Bildgenerierung, der darauf trainiert ist, Rauschen vorherzusagen, für die dichte Vorhersage schädlich ist; der mehrstufige Rausch-/Entrauschungs-Diffusionsprozess ist ebenfalls unnötig und schwierig zu optimieren. Basierend auf diesen Erkenntnissen stellen wir Lotus vor, ein auf Diffusion basierendes visuelles Grundlagenmodell mit einem einfachen, aber effektiven Anpassungsprotokoll für dichte Vorhersagen. Speziell wird Lotus darauf trainiert, direkt Annotationen anstelle von Rauschen vorherzusagen, um schädliche Varianz zu vermeiden. Wir reformulieren auch den Diffusionsprozess zu einem einstufigen Verfahren, was die Optimierung vereinfacht und die Inferenzgeschwindigkeit signifikant erhöht. Darüber hinaus führen wir eine neue Abstimmungsstrategie namens Detailbewahrer ein, die genauere und feingliedrigere Vorhersagen ermöglicht. Lotus erreicht ohne Skalierung der Trainingsdaten oder der Modellkapazität eine Spitzenleistung bei der Null-Schuss-Tiefen- und Normalenschätzung über verschiedene Datensätze hinweg. Es verbessert auch die Effizienz erheblich, da es hunderte Male schneller ist als die meisten bestehenden diffusionsbasierten Methoden.

English

Leveraging the visual priors of pre-trained text-to-image diffusion models offers a promising solution to enhance zero-shot generalization in dense prediction tasks. However, existing methods often uncritically use the original diffusion formulation, which may not be optimal due to the fundamental differences between dense prediction and image generation. In this paper, we provide a systemic analysis of the diffusion formulation for the dense prediction, focusing on both quality and efficiency. And we find that the original parameterization type for image generation, which learns to predict noise, is harmful for dense prediction; the multi-step noising/denoising diffusion process is also unnecessary and challenging to optimize. Based on these insights, we introduce Lotus, a diffusion-based visual foundation model with a simple yet effective adaptation protocol for dense prediction. Specifically, Lotus is trained to directly predict annotations instead of noise, thereby avoiding harmful variance. We also reformulate the diffusion process into a single-step procedure, simplifying optimization and significantly boosting inference speed. Additionally, we introduce a novel tuning strategy called detail preserver, which achieves more accurate and fine-grained predictions. Without scaling up the training data or model capacity, Lotus achieves SoTA performance in zero-shot depth and normal estimation across various datasets. It also significantly enhances efficiency, being hundreds of times faster than most existing diffusion-based methods.