Adaptador Unidimensional para Governar Todos: Conceitos, Modelos de Difusão e Aplicações de Apagamento

One-dimensional Adapter to Rule Them All: Concepts, Diffusion Models and Erasing Applications

December 26, 2023

Autores: Mengyao Lyu, Yuhong Yang, Haiwen Hong, Hui Chen, Xuan Jin, Yuan He, Hui Xue, Jungong Han, Guiguang Ding

cs.AI

Resumo

O uso predominante de modelos de difusão (DMs) comerciais e de código aberto para geração de texto para imagem exige a mitigação de riscos para evitar comportamentos indesejados. Os métodos existentes de eliminação de conceitos na academia são todos baseados em ajuste fino de parâmetros completos ou especificações, dos quais observamos os seguintes problemas: 1) Alteração na geração em direção à erosão: O desvio de parâmetros durante a eliminação do alvo causa alterações e potenciais deformações em todas as gerações, até mesmo corroendo outros conceitos em diferentes graus, o que é mais evidente com múltiplos conceitos eliminados; 2) Inabilidade de transferência e ineficiência de implantação: A eliminação específica do modelo anterior impede a combinação flexível de conceitos e a transferência sem treinamento para outros modelos, resultando em um crescimento linear de custos à medida que os cenários de implantação aumentam. Para alcançar uma eliminação não invasiva, precisa, personalizável e transferível, baseamos nossa estrutura de eliminação em adaptadores unidimensionais para eliminar múltiplos conceitos da maioria dos DMs de uma vez em diversas aplicações de eliminação. A estrutura conceitual SemiPermeável é injetada como uma Membrana (SPM) em qualquer DM para aprender a eliminação direcionada, e, ao mesmo tempo, o fenômeno de alteração e erosão é efetivamente mitigado por meio de uma nova estratégia de ajuste fino de Ancoragem Latente. Uma vez obtidas, as SPMs podem ser combinadas de forma flexível e plug-and-play para outros DMs sem reajuste específico, permitindo uma adaptação rápida e eficiente a diversos cenários. Durante a geração, nosso mecanismo de Transporte Facilitado regula dinamicamente a permeabilidade de cada SPM para responder a diferentes prompts de entrada, minimizando ainda mais o impacto em outros conceitos. Resultados quantitativos e qualitativos em aproximadamente 40 conceitos, 7 DMs e 4 aplicações de eliminação demonstraram a superioridade da eliminação da SPM. Nosso código e SPMs pré-ajustados estarão disponíveis na página do projeto https://lyumengyao.github.io/projects/spm.

English

The prevalent use of commercial and open-source diffusion models (DMs) for text-to-image generation prompts risk mitigation to prevent undesired behaviors. Existing concept erasing methods in academia are all based on full parameter or specification-based fine-tuning, from which we observe the following issues: 1) Generation alternation towards erosion: Parameter drift during target elimination causes alternations and potential deformations across all generations, even eroding other concepts at varying degrees, which is more evident with multi-concept erased; 2) Transfer inability & deployment inefficiency: Previous model-specific erasure impedes the flexible combination of concepts and the training-free transfer towards other models, resulting in linear cost growth as the deployment scenarios increase. To achieve non-invasive, precise, customizable, and transferable elimination, we ground our erasing framework on one-dimensional adapters to erase multiple concepts from most DMs at once across versatile erasing applications. The concept-SemiPermeable structure is injected as a Membrane (SPM) into any DM to learn targeted erasing, and meantime the alteration and erosion phenomenon is effectively mitigated via a novel Latent Anchoring fine-tuning strategy. Once obtained, SPMs can be flexibly combined and plug-and-play for other DMs without specific re-tuning, enabling timely and efficient adaptation to diverse scenarios. During generation, our Facilitated Transport mechanism dynamically regulates the permeability of each SPM to respond to different input prompts, further minimizing the impact on other concepts. Quantitative and qualitative results across ~40 concepts, 7 DMs and 4 erasing applications have demonstrated the superior erasing of SPM. Our code and pre-tuned SPMs will be available on the project page https://lyumengyao.github.io/projects/spm.