MANCE: 多様体を考慮した概念除去

要旨

概念消去は、表現から対象概念を除去しつつ、その表現に符号化された他の情報を保持することを目的とする。これは困難である。なぜなら、表現は消去対象としばしば相関する多くの概念を符号化しており、対象を除去するとそれらを損なうリスクがあるからである。我々は多様体制約仮説（MCH）を提案する。すなわち、自然表現が構造化された低次元多様体に集中するならば、介入はその多様体に制約されるべきであり、介入中に表現に符号化された他の情報をよりよく保持できるというものである。我々はこのMCHを新たな概念消去法である多様体認識型概念消去（MANCE）に具現化する。MANCEは、対象概念を予測する分類器からの信号を用いて表現を反復的に更新する。自然入力から得られた表現を用いて多様体を推定し、その後、概念除去の更新を推定された多様体に射影する。我々は、13の言語モデル、3つのNLP概念、40のCelebA-CLIP属性を含む、テキストとビジョンにわたる119の設定で広範な評価を行う。従来手法にMANCEを適用することで、リーク結果が一貫して改善されることを示す。また、MANCE+とMANCE++を導入する。これらはMANCEの前に閉形式消去アルゴリズムを前置し、対応する全空間更新と比較してリークと精緻性のトレードオフを改善する。我々の最良手法であるMANCE++は、非線形概念消去において最先端の結果を達成する。これらの結果は、消去設定におけるMCHを支持する。すなわち、介入は自然表現多様体に制約されるべきである。

English

Concept erasure aims to remove a target concept from a representation while preserving the other information encoded in it. This is difficult because representations encode many concepts that are often correlated with the erasure target, so removing the target risks damaging them. We propose the Manifold Constraint Hypothesis (MCH): if natural representations concentrate on a structured, lower-dimensional manifold, then interventions should be constrained to that manifold and better preserve other information encoded in the representation during interventions. We instantiate MCH in a new concept erasure method: MANifold aware Concept Erasure (MANCE). MANCE performs iterative updates to the representations using signals from a classifier that predicts a target concept. We estimate the manifold using representations obtained from natural inputs, and then we project the concept removal update to the estimated manifold. We perform extensive evaluation on 119 settings spanning text and vision, including 13 language models, three NLP concepts, and 40 CelebA-CLIP attributes. Employing MANCE on top of previous methods shows consistent improved leakage results. We also introduce MANCE+ and MANCE++, which prepend a closed-form erasure algorithm before employing MANCE, achieving better leakage--surgicality tradeoffs relative to matched full-space updates. MANCE++, our best method, achieves state-of-the-art results on nonlinear concept erasure. These results support MCH in the erasure setting: interventions should be constrained to the natural representation manifold.