一次元アダプターによる統一的制御：コンセプト、拡散モデル、消去応用

要旨

テキストから画像への生成において、商用およびオープンソースの拡散モデル（DM）が広く使用されるようになったことで、望ましくない動作を防止するためのリスク軽減が求められている。学術界における既存の概念消去手法は全て、全パラメータまたは仕様ベースのファインチューニングに基づいており、我々は以下の課題を観察した：1）侵食に向けた生成の変質：対象概念の除去過程でのパラメータドリフトが、すべての生成結果に変質や潜在的な変形を引き起こし、多概念消去時には他の概念まで様々な程度で侵食する現象が顕著に現れる。2）転移不能性と展開非効率性：従来のモデル特化的な消去手法は概念の柔軟な組み合わせを妨げ、再訓練なしでの他モデルへの転移を困難にするため、展開シナリオの増加に伴いコストが線形的に増大する。非侵襲的・精密・カスタマイズ可能・転移可能な消去を実現するため、我々は一次元アダプタに基づく消去フレームワークを構築し、多様な消去応用場面において、ほとんどのDMから複数概念を一括消去する。概念半透膜構造（SPM）を任意のDMに注入して標的消去を学習させると同時に、新規のLatent Anchoringファインチューニング戦略により変質と侵食現象を効果的に軽減する。一度取得したSPMは特定の再調整なしに柔軟に組み合わせ可能であり、他のDMへのプラグアンドプレイを実現し、多様なシナリオへの迅速かつ効率的な適応を可能にする。生成時には、促進輸送機構が各SPMの透過性を動的に制御して異なる入力プロンプトに対応し、他の概念への影響をさらに最小化する。約40の概念、7つのDM、4つの消去応用にわたる定量的・定性的評価により、SPMの優れた消去性能を実証した。コードと事前調整済みSPMはプロジェクトページ（https://lyumengyao.github.io/projects/spm）で公開予定である。

English

The prevalent use of commercial and open-source diffusion models (DMs) for text-to-image generation prompts risk mitigation to prevent undesired behaviors. Existing concept erasing methods in academia are all based on full parameter or specification-based fine-tuning, from which we observe the following issues: 1) Generation alternation towards erosion: Parameter drift during target elimination causes alternations and potential deformations across all generations, even eroding other concepts at varying degrees, which is more evident with multi-concept erased; 2) Transfer inability & deployment inefficiency: Previous model-specific erasure impedes the flexible combination of concepts and the training-free transfer towards other models, resulting in linear cost growth as the deployment scenarios increase. To achieve non-invasive, precise, customizable, and transferable elimination, we ground our erasing framework on one-dimensional adapters to erase multiple concepts from most DMs at once across versatile erasing applications. The concept-SemiPermeable structure is injected as a Membrane (SPM) into any DM to learn targeted erasing, and meantime the alteration and erosion phenomenon is effectively mitigated via a novel Latent Anchoring fine-tuning strategy. Once obtained, SPMs can be flexibly combined and plug-and-play for other DMs without specific re-tuning, enabling timely and efficient adaptation to diverse scenarios. During generation, our Facilitated Transport mechanism dynamically regulates the permeability of each SPM to respond to different input prompts, further minimizing the impact on other concepts. Quantitative and qualitative results across ~40 concepts, 7 DMs and 4 erasing applications have demonstrated the superior erasing of SPM. Our code and pre-tuned SPMs will be available on the project page https://lyumengyao.github.io/projects/spm.

一次元アダプターによる統一的制御：コンセプト、拡散モデル、消去応用

One-dimensional Adapter to Rule Them All: Concepts, Diffusion Models and Erasing Applications

要旨

Support