LEACE : Effacement linéaire parfait de concepts sous forme fermée

LEACE: Perfect linear concept erasure in closed form

June 6, 2023

Auteurs: Nora Belrose, David Schneider-Joseph, Shauli Ravfogel, Ryan Cotterell, Edward Raff, Stella Biderman

cs.AI

Résumé

L'effacement de concepts vise à supprimer des caractéristiques spécifiques d'une représentation. Il peut être utilisé pour améliorer l'équité (par exemple, empêcher un classifieur d'utiliser le genre ou la race) et l'interprétabilité (par exemple, supprimer un concept pour observer les changements dans le comportement du modèle). Dans cet article, nous présentons LEAst-squares Concept Erasure (LEACE), une méthode en forme fermée qui empêche de manière prouvée tous les classifieurs linéaires de détecter un concept tout en infligeant le moins de dommages possible à la représentation. Nous appliquons LEACE à des modèles de langage de grande taille avec une nouvelle procédure appelée "nettoyage de concepts", qui efface les informations du concept cible de chaque couche du réseau. Nous démontrons l'utilité de notre méthode sur deux tâches : mesurer la dépendance des modèles de langage vis-à-vis des informations sur les parties du discours, et réduire le biais de genre dans les embeddings de BERT. Le code est disponible à l'adresse https://github.com/EleutherAI/concept-erasure.

English

Concept erasure aims to remove specified features from a representation. It can be used to improve fairness (e.g. preventing a classifier from using gender or race) and interpretability (e.g. removing a concept to observe changes in model behavior). In this paper, we introduce LEAst-squares Concept Erasure (LEACE), a closed-form method which provably prevents all linear classifiers from detecting a concept while inflicting the least possible damage to the representation. We apply LEACE to large language models with a novel procedure called "concept scrubbing," which erases target concept information from every layer in the network. We demonstrate the usefulness of our method on two tasks: measuring the reliance of language models on part-of-speech information, and reducing gender bias in BERT embeddings. Code is available at https://github.com/EleutherAI/concept-erasure.