Eéndimensionale Adapter om Ze Allemaal te Beheersen: Concepten, Diffusiemodellen en Wisapplicaties

One-dimensional Adapter to Rule Them All: Concepts, Diffusion Models and Erasing Applications

December 26, 2023

Auteurs: Mengyao Lyu, Yuhong Yang, Haiwen Hong, Hui Chen, Xuan Jin, Yuan He, Hui Xue, Jungong Han, Guiguang Ding

cs.AI

Samenvatting

Het veelvuldige gebruik van commerciële en open-source diffusiemodellen (DMs) voor tekst-naar-beeldgeneratie vereist risicobeperking om ongewenst gedrag te voorkomen. Bestaande methoden voor het verwijderen van concepten in de academische wereld zijn allemaal gebaseerd op volledige parameter- of specificatiegebaseerde fine-tuning, waaruit we de volgende problemen waarnemen: 1) Generatieverandering richting erosie: Parameterdrift tijdens het elimineren van het doel veroorzaakt veranderingen en mogelijke vervormingen in alle generaties, wat zelfs andere concepten in verschillende mate aantast, wat duidelijker wordt bij het verwijderen van meerdere concepten; 2) Onvermogen tot overdracht en inefficiënte implementatie: Eerdere model-specifieke verwijdering belemmert de flexibele combinatie van concepten en de training-vrije overdracht naar andere modellen, wat leidt tot lineaire kostenstijging naarmate de implementatiescenario's toenemen. Om niet-invasieve, precieze, aanpasbare en overdraagbare eliminatie te bereiken, baseren we ons verwijderingsframework op eendimensionale adapters om meerdere concepten tegelijkertijd uit de meeste DMs te verwijderen voor diverse toepassingen. De concept-SemiPermeable structuur wordt als een Membraan (SPM) in elk DM geïnjecteerd om gerichte verwijdering te leren, terwijl het fenomeen van verandering en erosie effectief wordt beperkt via een nieuwe Latent Anchoring fine-tuning strategie. Eenmaal verkregen, kunnen SPM's flexibel worden gecombineerd en plug-and-play worden gebruikt voor andere DMs zonder specifieke her-tuning, wat tijdige en efficiënte aanpassing aan diverse scenario's mogelijk maakt. Tijdens de generatie reguleert ons Facilitated Transport mechanisme dynamisch de permeabiliteit van elke SPM om te reageren op verschillende invoerprompts, waardoor de impact op andere concepten verder wordt geminimaliseerd. Kwantitatieve en kwalitatieve resultaten over ~40 concepten, 7 DMs en 4 verwijderingstoepassingen hebben de superieure verwijdering van SPM aangetoond. Onze code en vooraf afgestemde SPM's zullen beschikbaar zijn op de projectpagina https://lyumengyao.github.io/projects/spm.

English

The prevalent use of commercial and open-source diffusion models (DMs) for text-to-image generation prompts risk mitigation to prevent undesired behaviors. Existing concept erasing methods in academia are all based on full parameter or specification-based fine-tuning, from which we observe the following issues: 1) Generation alternation towards erosion: Parameter drift during target elimination causes alternations and potential deformations across all generations, even eroding other concepts at varying degrees, which is more evident with multi-concept erased; 2) Transfer inability & deployment inefficiency: Previous model-specific erasure impedes the flexible combination of concepts and the training-free transfer towards other models, resulting in linear cost growth as the deployment scenarios increase. To achieve non-invasive, precise, customizable, and transferable elimination, we ground our erasing framework on one-dimensional adapters to erase multiple concepts from most DMs at once across versatile erasing applications. The concept-SemiPermeable structure is injected as a Membrane (SPM) into any DM to learn targeted erasing, and meantime the alteration and erosion phenomenon is effectively mitigated via a novel Latent Anchoring fine-tuning strategy. Once obtained, SPMs can be flexibly combined and plug-and-play for other DMs without specific re-tuning, enabling timely and efficient adaptation to diverse scenarios. During generation, our Facilitated Transport mechanism dynamically regulates the permeability of each SPM to respond to different input prompts, further minimizing the impact on other concepts. Quantitative and qualitative results across ~40 concepts, 7 DMs and 4 erasing applications have demonstrated the superior erasing of SPM. Our code and pre-tuned SPMs will be available on the project page https://lyumengyao.github.io/projects/spm.