LEACE: Perfekte lineare Konzeptlöschung in geschlossener Form

LEACE: Perfect linear concept erasure in closed form

June 6, 2023

Autoren: Nora Belrose, David Schneider-Joseph, Shauli Ravfogel, Ryan Cotterell, Edward Raff, Stella Biderman

cs.AI

Zusammenfassung

Konzeptlöschung zielt darauf ab, bestimmte Merkmale aus einer Repräsentation zu entfernen. Sie kann verwendet werden, um Fairness zu verbessern (z. B. zu verhindern, dass ein Klassifikator Geschlecht oder Rasse verwendet) und Interpretierbarkeit zu erhöhen (z. B. ein Konzept zu entfernen, um Veränderungen im Modellverhalten zu beobachten). In diesem Artikel stellen wir LEAst-squares Concept Erasure (LEACE) vor, eine geschlossene Methode, die nachweislich verhindert, dass lineare Klassifikatoren ein Konzept erkennen, während gleichzeitig der geringstmögliche Schaden an der Repräsentation verursacht wird. Wir wenden LEACE auf große Sprachmodelle mit einem neuartigen Verfahren namens "Konzeptreinigung" an, das Zielkonzeptinformationen aus jeder Schicht des Netzwerks entfernt. Wir demonstrieren den Nutzen unserer Methode anhand zweier Aufgaben: die Messung der Abhängigkeit von Sprachmodellen von Wortarteninformationen und die Reduzierung von Geschlechterverzerrungen in BERT-Einbettungen. Der Code ist verfügbar unter https://github.com/EleutherAI/concept-erasure.

English

Concept erasure aims to remove specified features from a representation. It can be used to improve fairness (e.g. preventing a classifier from using gender or race) and interpretability (e.g. removing a concept to observe changes in model behavior). In this paper, we introduce LEAst-squares Concept Erasure (LEACE), a closed-form method which provably prevents all linear classifiers from detecting a concept while inflicting the least possible damage to the representation. We apply LEACE to large language models with a novel procedure called "concept scrubbing," which erases target concept information from every layer in the network. We demonstrate the usefulness of our method on two tasks: measuring the reliance of language models on part-of-speech information, and reducing gender bias in BERT embeddings. Code is available at https://github.com/EleutherAI/concept-erasure.