Deconstruyendo Modelos de Difusión de Eliminación de Ruido para el Aprendizaje Autosupervisado

Deconstructing Denoising Diffusion Models for Self-Supervised Learning

January 25, 2024

Autores: Xinlei Chen, Zhuang Liu, Saining Xie, Kaiming He

cs.AI

Resumen

En este estudio, examinamos las capacidades de aprendizaje de representación de los Modelos de Difusión de Ruido (DDM, por sus siglas en inglés), que originalmente fueron diseñados para la generación de imágenes. Nuestra filosofía consiste en deconstruir un DDM, transformándolo gradualmente en un Autoencoder de Ruido clásico (DAE, por sus siglas en inglés). Este procedimiento deconstructivo nos permite explorar cómo diversos componentes de los DDM modernos influyen en el aprendizaje de representaciones auto-supervisadas. Observamos que solo unos pocos componentes modernos son críticos para aprender buenas representaciones, mientras que muchos otros resultan no esenciales. Nuestro estudio finalmente llega a un enfoque altamente simplificado que, en gran medida, se asemeja a un DAE clásico. Esperamos que este estudio reavive el interés en una familia de métodos clásicos dentro del ámbito del aprendizaje auto-supervisado moderno.

English

In this study, we examine the representation learning abilities of Denoising Diffusion Models (DDM) that were originally purposed for image generation. Our philosophy is to deconstruct a DDM, gradually transforming it into a classical Denoising Autoencoder (DAE). This deconstructive procedure allows us to explore how various components of modern DDMs influence self-supervised representation learning. We observe that only a very few modern components are critical for learning good representations, while many others are nonessential. Our study ultimately arrives at an approach that is highly simplified and to a large extent resembles a classical DAE. We hope our study will rekindle interest in a family of classical methods within the realm of modern self-supervised learning.