LEACE: Cancellazione lineare perfetta dei concetti in forma chiusa
LEACE: Perfect linear concept erasure in closed form
June 6, 2023
Autori: Nora Belrose, David Schneider-Joseph, Shauli Ravfogel, Ryan Cotterell, Edward Raff, Stella Biderman
cs.AI
Abstract
La cancellazione concettuale mira a rimuovere caratteristiche specifiche da una rappresentazione. Può essere utilizzata per migliorare l'equità (ad esempio, impedendo a un classificatore di utilizzare il genere o la razza) e l'interpretabilità (ad esempio, rimuovendo un concetto per osservare i cambiamenti nel comportamento del modello). In questo articolo, introduciamo LEAst-squares Concept Erasure (LEACE), un metodo in forma chiusa che impedisce in modo dimostrabile a tutti i classificatori lineari di rilevare un concetto, infliggendo il minor danno possibile alla rappresentazione. Applichiamo LEACE a modelli linguistici di grandi dimensioni con una nuova procedura chiamata "pulizia concettuale", che cancella le informazioni sul concetto target da ogni livello della rete. Dimostriamo l'utilità del nostro metodo su due compiti: misurare la dipendenza dei modelli linguistici dalle informazioni sulle parti del discorso e ridurre il bias di genere negli embedding di BERT. Il codice è disponibile all'indirizzo https://github.com/EleutherAI/concept-erasure.
English
Concept erasure aims to remove specified features from a representation. It
can be used to improve fairness (e.g. preventing a classifier from using gender
or race) and interpretability (e.g. removing a concept to observe changes in
model behavior). In this paper, we introduce LEAst-squares Concept Erasure
(LEACE), a closed-form method which provably prevents all linear classifiers
from detecting a concept while inflicting the least possible damage to the
representation. We apply LEACE to large language models with a novel procedure
called "concept scrubbing," which erases target concept information from every
layer in the network. We demonstrate the usefulness of our method on two tasks:
measuring the reliance of language models on part-of-speech information, and
reducing gender bias in BERT embeddings. Code is available at
https://github.com/EleutherAI/concept-erasure.