MANCE: Manifold-bewusste Konzeptlöschung

Zusammenfassung

Konzeptentfernung zielt darauf ab, ein Zielkonzept aus einer Repräsentation zu entfernen, während die anderen darin kodierten Informationen erhalten bleiben. Dies ist schwierig, da Repräsentationen viele Konzepte kodieren, die oft mit dem Entfernungsziel korreliert sind, sodass die Entfernung des Ziels diese beschädigen kann. Wir stellen die Manifold Constraint Hypothese (MCH) auf: Wenn natürliche Repräsentationen auf einer strukturierten, niedrigdimensionalen Mannigfaltigkeit konzentriert sind, sollten Interventionen auf diese Mannigfaltigkeit beschränkt werden und andere in der Repräsentation kodierte Informationen während der Interventionen besser erhalten. Wir setzen MCH in einer neuen Methode zur Konzeptentfernung um: MANifold aware Concept Erasure (MANCE). MANCE führt iterative Aktualisierungen der Repräsentationen durch, wobei Signale eines Klassifikators verwendet werden, der ein Zielkonzept vorhersagt. Wir schätzen die Mannigfaltigkeit mithilfe von Repräsentationen, die aus natürlichen Eingaben gewonnen werden, und projizieren dann die Aktualisierung zur Konzeptentfernung auf die geschätzte Mannigfaltigkeit. Wir führen eine umfangreiche Evaluierung in 119 Konfigurationen aus den Bereichen Text und Bild durch, darunter 13 Sprachmodelle, drei NLP-Konzepte und 40 CelebA-CLIP-Attribute. Die Anwendung von MANCE zusätzlich zu früheren Methoden zeigt konsistent verbesserte Leckage-Ergebnisse. Wir führen außerdem MANCE+ und MANCE++ ein, die einen Algorithmus zur geschlossenen Konzeptentfernung vor der Anwendung von MANCE voranstellen, und erzielen damit bessere Abwägungen zwischen Leckage und chirurgischer Genauigkeit im Vergleich zu entsprechenden Aktualisierungen im gesamten Raum. MANCE++, unsere beste Methode, erzielt State-of-the-Art-Ergebnisse bei nichtlinearer Konzeptentfernung. Diese Ergebnisse stützen die MCH im Entfernungskontext: Interventionen sollten auf die natürliche Repräsentationsmannigfaltigkeit beschränkt werden.

English

Concept erasure aims to remove a target concept from a representation while preserving the other information encoded in it. This is difficult because representations encode many concepts that are often correlated with the erasure target, so removing the target risks damaging them. We propose the Manifold Constraint Hypothesis (MCH): if natural representations concentrate on a structured, lower-dimensional manifold, then interventions should be constrained to that manifold and better preserve other information encoded in the representation during interventions. We instantiate MCH in a new concept erasure method: MANifold aware Concept Erasure (MANCE). MANCE performs iterative updates to the representations using signals from a classifier that predicts a target concept. We estimate the manifold using representations obtained from natural inputs, and then we project the concept removal update to the estimated manifold. We perform extensive evaluation on 119 settings spanning text and vision, including 13 language models, three NLP concepts, and 40 CelebA-CLIP attributes. Employing MANCE on top of previous methods shows consistent improved leakage results. We also introduce MANCE+ and MANCE++, which prepend a closed-form erasure algorithm before employing MANCE, achieving better leakage--surgicality tradeoffs relative to matched full-space updates. MANCE++, our best method, achieves state-of-the-art results on nonlinear concept erasure. These results support MCH in the erasure setting: interventions should be constrained to the natural representation manifold.