Déconstruction des modèles de diffusion débruiteurs pour l'apprentissage auto-supervisé

Deconstructing Denoising Diffusion Models for Self-Supervised Learning

January 25, 2024

Auteurs: Xinlei Chen, Zhuang Liu, Saining Xie, Kaiming He

cs.AI

Résumé

Dans cette étude, nous examinons les capacités d'apprentissage de représentation des modèles de diffusion par débruitage (Denoising Diffusion Models, DDM), initialement conçus pour la génération d'images. Notre approche consiste à déconstruire un DDM, en le transformant progressivement en un autoencodeur débruiteur (Denoising Autoencoder, DAE) classique. Cette procédure de déconstruction nous permet d'explorer comment les différents composants des DDM modernes influencent l'apprentissage auto-supervisé de représentations. Nous observons que seuls quelques composants modernes sont essentiels pour apprendre de bonnes représentations, tandis que beaucoup d'autres sont superflus. Notre étude aboutit à une approche fortement simplifiée qui, dans une large mesure, ressemble à un DAE classique. Nous espérons que cette étude ravivera l'intérêt pour une famille de méthodes classiques dans le domaine de l'apprentissage auto-supervisé moderne.

English

In this study, we examine the representation learning abilities of Denoising Diffusion Models (DDM) that were originally purposed for image generation. Our philosophy is to deconstruct a DDM, gradually transforming it into a classical Denoising Autoencoder (DAE). This deconstructive procedure allows us to explore how various components of modern DDMs influence self-supervised representation learning. We observe that only a very few modern components are critical for learning good representations, while many others are nonessential. Our study ultimately arrives at an approach that is highly simplified and to a large extent resembles a classical DAE. We hope our study will rekindle interest in a family of classical methods within the realm of modern self-supervised learning.