Adaptateur unidimensionnel pour les gouverner tous : Concepts, modèles de diffusion et applications d'effacement

One-dimensional Adapter to Rule Them All: Concepts, Diffusion Models and Erasing Applications

December 26, 2023

Auteurs: Mengyao Lyu, Yuhong Yang, Haiwen Hong, Hui Chen, Xuan Jin, Yuan He, Hui Xue, Jungong Han, Guiguang Ding

cs.AI

Résumé

L'utilisation répandue de modèles de diffusion (DMs) commerciaux et open source pour la génération d'images à partir de texte nécessite des mesures d'atténuation des risques afin de prévenir les comportements indésirables. Les méthodes académiques existantes d'effacement de concepts reposent toutes sur un ajustement fin des paramètres complets ou basé sur des spécifications, ce qui soulève les problèmes suivants : 1) Altération de la génération vers l'érosion : La dérive des paramètres lors de l'élimination ciblée provoque des altérations et des déformations potentielles dans toutes les générations, érodant même d'autres concepts à des degrés divers, ce qui est plus évident avec plusieurs concepts effacés ; 2) Incapacité de transfert et inefficacité de déploiement : L'effacement spécifique au modèle précédent entrave la combinaison flexible des concepts et le transfert sans entraînement vers d'autres modèles, entraînant une croissance linéaire des coûts à mesure que les scénarios de déploiement augmentent. Pour parvenir à une élimination non invasive, précise, personnalisable et transférable, nous fondons notre cadre d'effacement sur des adaptateurs unidimensionnels pour effacer plusieurs concepts de la plupart des DMs en une seule fois, couvrant diverses applications d'effacement. La structure concept-SemiPermeable est injectée comme une Membrane (SPM) dans n'importe quel DM pour apprendre l'effacement ciblé, tout en atténuant efficacement le phénomène d'altération et d'érosion grâce à une nouvelle stratégie d'ajustement fin par Ancrage Latent. Une fois obtenues, les SPMs peuvent être combinées de manière flexible et utilisées en plug-and-play pour d'autres DMs sans réajustement spécifique, permettant une adaptation rapide et efficace à divers scénarios. Pendant la génération, notre mécanisme de Transport Facilité régule dynamiquement la perméabilité de chaque SPM pour répondre à différentes invites d'entrée, minimisant davantage l'impact sur d'autres concepts. Les résultats quantitatifs et qualitatifs sur environ 40 concepts, 7 DMs et 4 applications d'effacement ont démontré la supériorité de l'effacement par SPM. Notre code et les SPMs pré-ajustés seront disponibles sur la page du projet https://lyumengyao.github.io/projects/spm.

English

The prevalent use of commercial and open-source diffusion models (DMs) for text-to-image generation prompts risk mitigation to prevent undesired behaviors. Existing concept erasing methods in academia are all based on full parameter or specification-based fine-tuning, from which we observe the following issues: 1) Generation alternation towards erosion: Parameter drift during target elimination causes alternations and potential deformations across all generations, even eroding other concepts at varying degrees, which is more evident with multi-concept erased; 2) Transfer inability & deployment inefficiency: Previous model-specific erasure impedes the flexible combination of concepts and the training-free transfer towards other models, resulting in linear cost growth as the deployment scenarios increase. To achieve non-invasive, precise, customizable, and transferable elimination, we ground our erasing framework on one-dimensional adapters to erase multiple concepts from most DMs at once across versatile erasing applications. The concept-SemiPermeable structure is injected as a Membrane (SPM) into any DM to learn targeted erasing, and meantime the alteration and erosion phenomenon is effectively mitigated via a novel Latent Anchoring fine-tuning strategy. Once obtained, SPMs can be flexibly combined and plug-and-play for other DMs without specific re-tuning, enabling timely and efficient adaptation to diverse scenarios. During generation, our Facilitated Transport mechanism dynamically regulates the permeability of each SPM to respond to different input prompts, further minimizing the impact on other concepts. Quantitative and qualitative results across ~40 concepts, 7 DMs and 4 erasing applications have demonstrated the superior erasing of SPM. Our code and pre-tuned SPMs will be available on the project page https://lyumengyao.github.io/projects/spm.