CleanDIFT: Diffusionsmerkmale ohne Rauschen

CleanDIFT: Diffusion Features without Noise

December 4, 2024

Autoren: Nick Stracke, Stefan Andreas Baumann, Kolja Bauer, Frank Fundel, Björn Ommer

cs.AI

Zusammenfassung

Interne Merkmale von groß angelegten, vortrainierten Diffusionsmodellen haben sich kürzlich als leistungsstarke semantische Deskriptoren für eine Vielzahl von nachgelagerten Aufgaben erwiesen. Arbeiten, die diese Merkmale verwenden, müssen im Allgemeinen Rauschen zu Bildern hinzufügen, bevor sie sie durch das Modell leiten, um die semantischen Merkmale zu erhalten, da die Modelle nicht die nützlichsten Merkmale liefern, wenn ihnen Bilder mit wenig bis gar keinem Rauschen gegeben werden. Wir zeigen, dass dieses Rauschen einen entscheidenden Einfluss auf die Nützlichkeit dieser Merkmale hat, der nicht durch das Zusammenführen mit verschiedenen zufälligen Rauschen behoben werden kann. Wir beheben dieses Problem, indem wir eine leichte, unüberwachte Feinabstimmungsmethode einführen, die es Diffusions-Backbones ermöglicht, hochwertige, rauschfreie semantische Merkmale bereitzustellen. Wir zeigen, dass diese Merkmale in einer Vielzahl von Extraktionsaufbauten und nachgelagerten Aufgaben weitaus besser abschneiden als frühere Diffusionsmerkmale und sogar eine bessere Leistung bieten als ensemblebasierte Methoden zu einem Bruchteil der Kosten.

English

Internal features from large-scale pre-trained diffusion models have recently been established as powerful semantic descriptors for a wide range of downstream tasks. Works that use these features generally need to add noise to images before passing them through the model to obtain the semantic features, as the models do not offer the most useful features when given images with little to no noise. We show that this noise has a critical impact on the usefulness of these features that cannot be remedied by ensembling with different random noises. We address this issue by introducing a lightweight, unsupervised fine-tuning method that enables diffusion backbones to provide high-quality, noise-free semantic features. We show that these features readily outperform previous diffusion features by a wide margin in a wide variety of extraction setups and downstream tasks, offering better performance than even ensemble-based methods at a fraction of the cost.