CleanDIFT: Características de Difusión sin Ruido

CleanDIFT: Diffusion Features without Noise

December 4, 2024

Autores: Nick Stracke, Stefan Andreas Baumann, Kolja Bauer, Frank Fundel, Björn Ommer

cs.AI

Resumen

Recientemente, se han establecido las características internas de los modelos de difusión pre-entrenados a gran escala como descriptores semánticos potentes para una amplia gama de tareas secundarias. Los trabajos que utilizan estas características generalmente necesitan agregar ruido a las imágenes antes de pasarlas a través del modelo para obtener las características semánticas, ya que los modelos no ofrecen las características más útiles cuando se les dan imágenes con poco o ningún ruido. Mostramos que este ruido tiene un impacto crítico en la utilidad de estas características que no puede ser remediado mediante la combinación con diferentes ruidos aleatorios. Abordamos este problema introduciendo un método de ajuste fino no supervisado y ligero que permite a las espinas dorsales de difusión proporcionar características semánticas de alta calidad y libres de ruido. Demostramos que estas características superan fácilmente a las características de difusión anteriores por un amplio margen en una amplia variedad de configuraciones de extracción y tareas secundarias, ofreciendo un mejor rendimiento que incluso los métodos basados en ensamblaje a una fracción del costo.

English

Internal features from large-scale pre-trained diffusion models have recently been established as powerful semantic descriptors for a wide range of downstream tasks. Works that use these features generally need to add noise to images before passing them through the model to obtain the semantic features, as the models do not offer the most useful features when given images with little to no noise. We show that this noise has a critical impact on the usefulness of these features that cannot be remedied by ensembling with different random noises. We address this issue by introducing a lightweight, unsupervised fine-tuning method that enables diffusion backbones to provide high-quality, noise-free semantic features. We show that these features readily outperform previous diffusion features by a wide margin in a wide variety of extraction setups and downstream tasks, offering better performance than even ensemble-based methods at a fraction of the cost.