Interpretation des Gewichtsraums von individuell angepassten Diffusionsmodellen

Zusammenfassung

Wir untersuchen den Raum der Gewichte, der von einer großen Sammlung von individuellen Diffusionsmodellen aufgespannt wird. Wir bevölkern diesen Raum, indem wir einen Datensatz von über 60.000 Modellen erstellen, von denen jedes ein Basismodell ist, das feinabgestimmt wurde, um die visuelle Identität einer anderen Person einzufügen. Wir modellieren die zugrunde liegende Mannigfaltigkeit dieser Gewichte als Unterraum, den wir als Gewichte-zu-Gewichte bezeichnen. Wir demonstrieren drei unmittelbare Anwendungen dieses Raums - Abtasten, Bearbeiten und Umkehrung. Zunächst entspricht jeder Punkt im Raum einer Identität, und das Abtasten eines Satzes von Gewichten daraus führt zu einem Modell, das eine neue Identität kodiert. Als nächstes finden wir lineare Richtungen in diesem Raum, die semantischen Bearbeitungen der Identität entsprechen (z. B. das Hinzufügen eines Bartes). Diese Bearbeitungen bleiben im Aussehen über generierte Proben hinweg bestehen. Schließlich zeigen wir, dass die Umkehrung eines einzelnen Bildes in diesen Raum eine realistische Identität rekonstruiert, selbst wenn das Eingabebild außerhalb der Verteilung liegt (z. B. ein Gemälde). Unsere Ergebnisse deuten darauf hin, dass der Gewichtraum feinabgestimmter Diffusionsmodelle als interpretierbarer latenter Raum von Identitäten fungiert.

English

We investigate the space of weights spanned by a large collection of customized diffusion models. We populate this space by creating a dataset of over 60,000 models, each of which is a base model fine-tuned to insert a different person's visual identity. We model the underlying manifold of these weights as a subspace, which we term weights2weights. We demonstrate three immediate applications of this space -- sampling, editing, and inversion. First, as each point in the space corresponds to an identity, sampling a set of weights from it results in a model encoding a novel identity. Next, we find linear directions in this space corresponding to semantic edits of the identity (e.g., adding a beard). These edits persist in appearance across generated samples. Finally, we show that inverting a single image into this space reconstructs a realistic identity, even if the input image is out of distribution (e.g., a painting). Our results indicate that the weight space of fine-tuned diffusion models behaves as an interpretable latent space of identities.

Interpretation des Gewichtsraums von individuell angepassten Diffusionsmodellen

Interpreting the Weight Space of Customized Diffusion Models

Zusammenfassung

Support