Eindimensionaler Adapter für alle: Konzepte, Diffusionsmodelle und Anwendungen zum Löschen

One-dimensional Adapter to Rule Them All: Concepts, Diffusion Models and Erasing Applications

December 26, 2023

Autoren: Mengyao Lyu, Yuhong Yang, Haiwen Hong, Hui Chen, Xuan Jin, Yuan He, Hui Xue, Jungong Han, Guiguang Ding

cs.AI

Zusammenfassung

Die weit verbreitete Nutzung kommerzieller und Open-Source-Diffusionsmodelle (DMs) für die Text-zu-Bild-Generierung erfordert Risikominderungsmaßnahmen, um unerwünschte Verhaltensweisen zu verhindern. Bestehende Methoden zum Löschen von Konzepten in der Wissenschaft basieren alle auf einer Feinabstimmung der vollen Parameter oder spezifikationsbasierten Anpassungen, woraus wir die folgenden Probleme beobachten: 1) Generationsänderung hin zur Erosion: Parameterdrift während der Zielbeseitigung führt zu Veränderungen und potenziellen Verformungen in allen Generationen, wodurch sogar andere Konzepte in unterschiedlichem Maße erodiert werden, was bei mehreren gelöschten Konzepten deutlicher wird; 2) Transferunfähigkeit & Ineffizienz bei der Bereitstellung: Die bisherige modellspezifische Löschung behindert die flexible Kombination von Konzepten und den trainingsfreien Transfer auf andere Modelle, was zu einem linearen Kostenanstieg mit zunehmenden Bereitstellungsszenarien führt. Um eine nicht-invasive, präzise, anpassbare und übertragbare Beseitigung zu erreichen, gründen wir unser Löschungsframework auf eindimensionalen Adaptern, um mehrere Konzepte aus den meisten DMs gleichzeitig in verschiedenen Löschungsanwendungen zu entfernen. Die konzept-SemiPermeable-Struktur wird als Membran (SPM) in jedes DM injiziert, um gezieltes Löschen zu erlernen, während gleichzeitig das Phänomen der Veränderung und Erosion durch eine neuartige Latent Anchoring-Feinabstimmungsstrategie effektiv gemildert wird. Einmal erworben, können SPMs flexibel kombiniert und ohne spezifische Neuanpassung in andere DMs eingefügt werden, was eine zeitnahe und effiziente Anpassung an diverse Szenarien ermöglicht. Während der Generierung reguliert unser Facilitated Transport-Mechanismus dynamisch die Durchlässigkeit jeder SPM, um auf verschiedene Eingabeaufforderungen zu reagieren und so die Auswirkungen auf andere Konzepte weiter zu minimieren. Quantitative und qualitative Ergebnisse über ~40 Konzepte, 7 DMs und 4 Löschungsanwendungen haben die überlegene Löschungsfähigkeit von SPM demonstriert. Unser Code und voreingestellte SPMs werden auf der Projektseite https://lyumengyao.github.io/projects/spm verfügbar sein.

English

The prevalent use of commercial and open-source diffusion models (DMs) for text-to-image generation prompts risk mitigation to prevent undesired behaviors. Existing concept erasing methods in academia are all based on full parameter or specification-based fine-tuning, from which we observe the following issues: 1) Generation alternation towards erosion: Parameter drift during target elimination causes alternations and potential deformations across all generations, even eroding other concepts at varying degrees, which is more evident with multi-concept erased; 2) Transfer inability & deployment inefficiency: Previous model-specific erasure impedes the flexible combination of concepts and the training-free transfer towards other models, resulting in linear cost growth as the deployment scenarios increase. To achieve non-invasive, precise, customizable, and transferable elimination, we ground our erasing framework on one-dimensional adapters to erase multiple concepts from most DMs at once across versatile erasing applications. The concept-SemiPermeable structure is injected as a Membrane (SPM) into any DM to learn targeted erasing, and meantime the alteration and erosion phenomenon is effectively mitigated via a novel Latent Anchoring fine-tuning strategy. Once obtained, SPMs can be flexibly combined and plug-and-play for other DMs without specific re-tuning, enabling timely and efficient adaptation to diverse scenarios. During generation, our Facilitated Transport mechanism dynamically regulates the permeability of each SPM to respond to different input prompts, further minimizing the impact on other concepts. Quantitative and qualitative results across ~40 concepts, 7 DMs and 4 erasing applications have demonstrated the superior erasing of SPM. Our code and pre-tuned SPMs will be available on the project page https://lyumengyao.github.io/projects/spm.