CleanDIFT: Recursos de Difusão sem Ruído

CleanDIFT: Diffusion Features without Noise

December 4, 2024

Autores: Nick Stracke, Stefan Andreas Baumann, Kolja Bauer, Frank Fundel, Björn Ommer

cs.AI

Resumo

Recursos internos de modelos de difusão pré-treinados em larga escala foram recentemente estabelecidos como descritores semânticos poderosos para uma ampla gama de tarefas subsequentes. Trabalhos que utilizam esses recursos geralmente precisam adicionar ruído às imagens antes de passá-las pelo modelo para obter os recursos semânticos, uma vez que os modelos não oferecem os recursos mais úteis quando fornecidas imagens com pouco ou nenhum ruído. Mostramos que esse ruído tem um impacto crítico na utilidade desses recursos que não pode ser remediado por meio de ensembles com diferentes ruídos aleatórios. Abordamos essa questão introduzindo um método leve de ajuste fino não supervisionado que permite que espinhas dorsais de difusão forneçam recursos semânticos de alta qualidade e livres de ruído. Demonstramos que esses recursos superam facilmente os recursos de difusão anteriores por uma ampla margem em uma variedade de configurações de extração e tarefas subsequentes, oferecendo melhor desempenho do que até mesmo métodos baseados em ensembles a uma fração do custo.

English

Internal features from large-scale pre-trained diffusion models have recently been established as powerful semantic descriptors for a wide range of downstream tasks. Works that use these features generally need to add noise to images before passing them through the model to obtain the semantic features, as the models do not offer the most useful features when given images with little to no noise. We show that this noise has a critical impact on the usefulness of these features that cannot be remedied by ensembling with different random noises. We address this issue by introducing a lightweight, unsupervised fine-tuning method that enables diffusion backbones to provide high-quality, noise-free semantic features. We show that these features readily outperform previous diffusion features by a wide margin in a wide variety of extraction setups and downstream tasks, offering better performance than even ensemble-based methods at a fraction of the cost.