Dekonstruktion von Denoising-Diffusionsmodellen für selbstüberwachtes Lernen

Deconstructing Denoising Diffusion Models for Self-Supervised Learning

January 25, 2024

Autoren: Xinlei Chen, Zhuang Liu, Saining Xie, Kaiming He

cs.AI

Zusammenfassung

In dieser Studie untersuchen wir die Fähigkeiten von Denoising Diffusion Models (DDM) zur Repräsentationslernens, die ursprünglich für die Bildgenerierung entwickelt wurden. Unser Ansatz besteht darin, ein DDM zu dekonstruieren und es schrittweise in ein klassisches Denoising Autoencoder (DAE) zu transformieren. Dieser Dekonstruktionsprozess ermöglicht es uns zu erforschen, wie verschiedene Komponenten moderner DDMs das selbstüberwachte Repräsentationslernen beeinflussen. Wir beobachten, dass nur sehr wenige moderne Komponenten entscheidend für das Erlernen guter Repräsentationen sind, während viele andere nicht wesentlich sind. Unsere Studie führt letztendlich zu einem stark vereinfachten Ansatz, der in hohem Maße einem klassischen DAE ähnelt. Wir hoffen, dass unsere Studie das Interesse an einer Familie klassischer Methoden im Bereich des modernen selbstüberwachten Lernens neu entfachen wird.

English

In this study, we examine the representation learning abilities of Denoising Diffusion Models (DDM) that were originally purposed for image generation. Our philosophy is to deconstruct a DDM, gradually transforming it into a classical Denoising Autoencoder (DAE). This deconstructive procedure allows us to explore how various components of modern DDMs influence self-supervised representation learning. We observe that only a very few modern components are critical for learning good representations, while many others are nonessential. Our study ultimately arrives at an approach that is highly simplified and to a large extent resembles a classical DAE. We hope our study will rekindle interest in a family of classical methods within the realm of modern self-supervised learning.