Одномерный адаптер для управления всеми: концепции, модели диффузии и приложения для стирания

One-dimensional Adapter to Rule Them All: Concepts, Diffusion Models and Erasing Applications

December 26, 2023

Авторы: Mengyao Lyu, Yuhong Yang, Haiwen Hong, Hui Chen, Xuan Jin, Yuan He, Hui Xue, Jungong Han, Guiguang Ding

cs.AI

Аннотация

Широкое использование коммерческих и открытых диффузионных моделей (DMs) для генерации изображений по тексту требует мер по снижению рисков для предотвращения нежелательного поведения. Существующие в академической среде методы удаления концепций основаны на полной настройке параметров или спецификаций, что приводит к следующим проблемам: 1) Изменение генерации в сторону эрозии: Смещение параметров в процессе устранения целевых концепций вызывает изменения и потенциальные искажения во всех генерациях, включая эрозию других концепций в разной степени, что особенно заметно при удалении нескольких концепций; 2) Неспособность к переносу и неэффективность развертывания: Предыдущие методы удаления, специфичные для модели, препятствуют гибкому комбинированию концепций и беспроблемному переносу на другие модели, что приводит к линейному росту затрат с увеличением сценариев развертывания. Для достижения ненавязчивого, точного, настраиваемого и переносимого устранения мы основываем наш фреймворк удаления на одномерных адаптерах, позволяющих удалять несколько концепций из большинства DMs одновременно в различных приложениях. Структура concept-SemiPermeable внедряется как мембрана (SPM) в любую DM для обучения целевому удалению, при этом явления изменения и эрозии эффективно смягчаются с помощью новой стратегии тонкой настройки Latent Anchoring. После получения SPM могут гибко комбинироваться и использоваться в других DMs без дополнительной настройки, обеспечивая своевременную и эффективную адаптацию к различным сценариям. Во время генерации наш механизм Facilitated Transport динамически регулирует проницаемость каждой SPM в ответ на различные входные запросы, дополнительно минимизируя влияние на другие концепции. Количественные и качественные результаты для ~40 концепций, 7 DMs и 4 приложений удаления продемонстрировали превосходство SPM. Наш код и предварительно настроенные SPM будут доступны на странице проекта https://lyumengyao.github.io/projects/spm.

English

The prevalent use of commercial and open-source diffusion models (DMs) for text-to-image generation prompts risk mitigation to prevent undesired behaviors. Existing concept erasing methods in academia are all based on full parameter or specification-based fine-tuning, from which we observe the following issues: 1) Generation alternation towards erosion: Parameter drift during target elimination causes alternations and potential deformations across all generations, even eroding other concepts at varying degrees, which is more evident with multi-concept erased; 2) Transfer inability & deployment inefficiency: Previous model-specific erasure impedes the flexible combination of concepts and the training-free transfer towards other models, resulting in linear cost growth as the deployment scenarios increase. To achieve non-invasive, precise, customizable, and transferable elimination, we ground our erasing framework on one-dimensional adapters to erase multiple concepts from most DMs at once across versatile erasing applications. The concept-SemiPermeable structure is injected as a Membrane (SPM) into any DM to learn targeted erasing, and meantime the alteration and erosion phenomenon is effectively mitigated via a novel Latent Anchoring fine-tuning strategy. Once obtained, SPMs can be flexibly combined and plug-and-play for other DMs without specific re-tuning, enabling timely and efficient adaptation to diverse scenarios. During generation, our Facilitated Transport mechanism dynamically regulates the permeability of each SPM to respond to different input prompts, further minimizing the impact on other concepts. Quantitative and qualitative results across ~40 concepts, 7 DMs and 4 erasing applications have demonstrated the superior erasing of SPM. Our code and pre-tuned SPMs will be available on the project page https://lyumengyao.github.io/projects/spm.