Deconstructie van Denoising Diffusion Modellen voor Zelfsupervised Leren

Deconstructing Denoising Diffusion Models for Self-Supervised Learning

January 25, 2024

Auteurs: Xinlei Chen, Zhuang Liu, Saining Xie, Kaiming He

cs.AI

Samenvatting

In dit onderzoek bestuderen we de representatieleervaardigheden van Denoising Diffusion Models (DDM) die oorspronkelijk zijn ontwikkeld voor beeldgeneratie. Onze filosofie is om een DDM te deconstrueren en deze geleidelijk om te vormen tot een klassieke Denoising Autoencoder (DAE). Deze deconstructieve procedure stelt ons in staat te onderzoeken hoe verschillende componenten van moderne DDMs zelfsupervised representatie leren beïnvloeden. We observeren dat slechts een zeer beperkt aantal moderne componenten cruciaal zijn voor het leren van goede representaties, terwijl vele andere niet essentieel zijn. Onze studie komt uiteindelijk uit op een benadering die sterk vereenvoudigd is en in grote mate lijkt op een klassieke DAE. We hopen dat ons onderzoek de interesse zal hernieuwen in een familie van klassieke methoden binnen het domein van modern zelfsupervised leren.

English

In this study, we examine the representation learning abilities of Denoising Diffusion Models (DDM) that were originally purposed for image generation. Our philosophy is to deconstruct a DDM, gradually transforming it into a classical Denoising Autoencoder (DAE). This deconstructive procedure allows us to explore how various components of modern DDMs influence self-supervised representation learning. We observe that only a very few modern components are critical for learning good representations, while many others are nonessential. Our study ultimately arrives at an approach that is highly simplified and to a large extent resembles a classical DAE. We hope our study will rekindle interest in a family of classical methods within the realm of modern self-supervised learning.