SchoneDIFT: Diffusiekenmerken zonder ruis

CleanDIFT: Diffusion Features without Noise

December 4, 2024

Auteurs: Nick Stracke, Stefan Andreas Baumann, Kolja Bauer, Frank Fundel, Björn Ommer

cs.AI

Samenvatting

Interne kenmerken van grootschalige vooraf getrainde diffusiemodellen zijn onlangs vastgesteld als krachtige semantische beschrijvingen voor een breed scala aan taken. Werken die deze kenmerken gebruiken, moeten over het algemeen ruis toevoegen aan afbeeldingen voordat ze door het model worden geleid om de semantische kenmerken te verkrijgen, aangezien de modellen niet de meest bruikbare kenmerken bieden wanneer ze afbeeldingen krijgen met weinig tot geen ruis. We tonen aan dat deze ruis een kritieke impact heeft op de bruikbaarheid van deze kenmerken die niet kan worden verholpen door te werken met verschillende willekeurige ruis. We pakken dit probleem aan door een lichtgewicht, ongesuperviseerde fijnafstemmingsmethode te introduceren die diffusie-backbones in staat stelt om hoogwaardige, ruisvrije semantische kenmerken te leveren. We tonen aan dat deze kenmerken aanzienlijk beter presteren dan eerdere diffusiekenmerken in een breed scala van extractieopstellingen en taken, waarbij ze betere prestaties bieden dan zelfs op ensemble gebaseerde methoden tegen een fractie van de kosten.

English

Internal features from large-scale pre-trained diffusion models have recently been established as powerful semantic descriptors for a wide range of downstream tasks. Works that use these features generally need to add noise to images before passing them through the model to obtain the semantic features, as the models do not offer the most useful features when given images with little to no noise. We show that this noise has a critical impact on the usefulness of these features that cannot be remedied by ensembling with different random noises. We address this issue by introducing a lightweight, unsupervised fine-tuning method that enables diffusion backbones to provide high-quality, noise-free semantic features. We show that these features readily outperform previous diffusion features by a wide margin in a wide variety of extraction setups and downstream tasks, offering better performance than even ensemble-based methods at a fraction of the cost.