Чистый DIFT: Особенности диффузии без шума

CleanDIFT: Diffusion Features without Noise

December 4, 2024

Авторы: Nick Stracke, Stefan Andreas Baumann, Kolja Bauer, Frank Fundel, Björn Ommer

cs.AI

Аннотация

Внутренние характеристики из крупномасштабных предварительно обученных диффузионных моделей недавно были признаны мощными семантическими дескрипторами для широкого спектра последующих задач. Работы, использующие эти характеристики, обычно должны добавлять шум к изображениям перед их передачей через модель для получения семантических характеристик, поскольку модели не предоставляют наиболее полезные характеристики при подаче изображений с малым или отсутствующим шумом. Мы показываем, что этот шум имеет критическое влияние на полезность этих характеристик, которое нельзя устранить путем ансамблирования с различными случайными шумами. Мы решаем эту проблему, представив легкий, ненадзорный метод тонкой настройки, который позволяет диффузионным основам обеспечивать высококачественные, лишенные шума семантические характеристики. Мы показываем, что эти характеристики легко превосходят предыдущие диффузионные характеристики с большим отрывом в широком спектре настроек извлечения и последующих задач, предлагая лучшую производительность даже по сравнению с методами на основе ансамблей за долю стоимости.

English

Internal features from large-scale pre-trained diffusion models have recently been established as powerful semantic descriptors for a wide range of downstream tasks. Works that use these features generally need to add noise to images before passing them through the model to obtain the semantic features, as the models do not offer the most useful features when given images with little to no noise. We show that this noise has a critical impact on the usefulness of these features that cannot be remedied by ensembling with different random noises. We address this issue by introducing a lightweight, unsupervised fine-tuning method that enables diffusion backbones to provide high-quality, noise-free semantic features. We show that these features readily outperform previous diffusion features by a wide margin in a wide variety of extraction setups and downstream tasks, offering better performance than even ensemble-based methods at a fraction of the cost.