Adaptador Unidimensional para Gobernarlos a Todos: Conceptos, Modelos de Difusión y Aplicaciones de Borrado

One-dimensional Adapter to Rule Them All: Concepts, Diffusion Models and Erasing Applications

December 26, 2023

Autores: Mengyao Lyu, Yuhong Yang, Haiwen Hong, Hui Chen, Xuan Jin, Yuan He, Hui Xue, Jungong Han, Guiguang Ding

cs.AI

Resumen

El uso generalizado de modelos de difusión comerciales y de código abierto (DMs) para la generación de imágenes a partir de texto ha impulsado la necesidad de mitigar riesgos para prevenir comportamientos no deseados. Los métodos existentes en el ámbito académico para la eliminación de conceptos se basan en ajustes finos de parámetros completos o especificaciones, lo que presenta los siguientes problemas: 1) Alteración en la generación hacia la erosión: La deriva de parámetros durante la eliminación del objetivo causa alteraciones y posibles deformaciones en todas las generaciones, incluso erosionando otros conceptos en diversos grados, lo cual es más evidente cuando se eliminan múltiples conceptos; 2) Incapacidad de transferencia e ineficiencia en el despliegue: La eliminación específica del modelo anterior dificulta la combinación flexible de conceptos y la transferencia sin entrenamiento hacia otros modelos, lo que resulta en un crecimiento lineal de costos a medida que aumentan los escenarios de despliegue. Para lograr una eliminación no invasiva, precisa, personalizable y transferible, basamos nuestro marco de eliminación en adaptadores unidimensionales para eliminar múltiples conceptos de la mayoría de los DMs de una vez en diversas aplicaciones de eliminación. La estructura SemiPermeable de concepto se inyecta como una Membrana (SPM) en cualquier DM para aprender la eliminación específica, y al mismo tiempo se mitiga eficazmente el fenómeno de alteración y erosión mediante una novedosa estrategia de ajuste fino de Anclaje Latente. Una vez obtenidas, las SPMs pueden combinarse de manera flexible y utilizarse en otros DMs sin necesidad de un reajuste específico, permitiendo una adaptación rápida y eficiente a diversos escenarios. Durante la generación, nuestro mecanismo de Transporte Facilitado regula dinámicamente la permeabilidad de cada SPM para responder a diferentes indicaciones de entrada, minimizando aún más el impacto en otros conceptos. Los resultados cuantitativos y cualitativos en aproximadamente 40 conceptos, 7 DMs y 4 aplicaciones de eliminación han demostrado la superioridad de las SPMs en la eliminación. Nuestro código y las SPMs preajustadas estarán disponibles en la página del proyecto https://lyumengyao.github.io/projects/spm.

English

The prevalent use of commercial and open-source diffusion models (DMs) for text-to-image generation prompts risk mitigation to prevent undesired behaviors. Existing concept erasing methods in academia are all based on full parameter or specification-based fine-tuning, from which we observe the following issues: 1) Generation alternation towards erosion: Parameter drift during target elimination causes alternations and potential deformations across all generations, even eroding other concepts at varying degrees, which is more evident with multi-concept erased; 2) Transfer inability & deployment inefficiency: Previous model-specific erasure impedes the flexible combination of concepts and the training-free transfer towards other models, resulting in linear cost growth as the deployment scenarios increase. To achieve non-invasive, precise, customizable, and transferable elimination, we ground our erasing framework on one-dimensional adapters to erase multiple concepts from most DMs at once across versatile erasing applications. The concept-SemiPermeable structure is injected as a Membrane (SPM) into any DM to learn targeted erasing, and meantime the alteration and erosion phenomenon is effectively mitigated via a novel Latent Anchoring fine-tuning strategy. Once obtained, SPMs can be flexibly combined and plug-and-play for other DMs without specific re-tuning, enabling timely and efficient adaptation to diverse scenarios. During generation, our Facilitated Transport mechanism dynamically regulates the permeability of each SPM to respond to different input prompts, further minimizing the impact on other concepts. Quantitative and qualitative results across ~40 concepts, 7 DMs and 4 erasing applications have demonstrated the superior erasing of SPM. Our code and pre-tuned SPMs will be available on the project page https://lyumengyao.github.io/projects/spm.