LEACE: Eliminação perfeita de conceitos lineares em forma fechada

LEACE: Perfect linear concept erasure in closed form

June 6, 2023

Autores: Nora Belrose, David Schneider-Joseph, Shauli Ravfogel, Ryan Cotterell, Edward Raff, Stella Biderman

cs.AI

Resumo

A eliminação de conceitos visa remover características específicas de uma representação. Ela pode ser usada para melhorar a justiça (por exemplo, impedindo que um classificador use gênero ou raça) e a interpretabilidade (por exemplo, removendo um conceito para observar mudanças no comportamento do modelo). Neste artigo, introduzimos a Eliminação de Conceitos por Mínimos Quadrados (LEACE, na sigla em inglês), um método de forma fechada que comprovadamente impede que todos os classificadores lineares detectem um conceito, ao mesmo tempo que causa o menor dano possível à representação. Aplicamos o LEACE a modelos de linguagem de grande escala com um novo procedimento chamado "limpeza de conceitos", que remove informações do conceito alvo de cada camada da rede. Demonstramos a utilidade do nosso método em duas tarefas: medir a dependência de modelos de linguagem em informações de classes gramaticais e reduzir o viés de gênero em embeddings do BERT. O código está disponível em https://github.com/EleutherAI/concept-erasure.

English

Concept erasure aims to remove specified features from a representation. It can be used to improve fairness (e.g. preventing a classifier from using gender or race) and interpretability (e.g. removing a concept to observe changes in model behavior). In this paper, we introduce LEAst-squares Concept Erasure (LEACE), a closed-form method which provably prevents all linear classifiers from detecting a concept while inflicting the least possible damage to the representation. We apply LEACE to large language models with a novel procedure called "concept scrubbing," which erases target concept information from every layer in the network. We demonstrate the usefulness of our method on two tasks: measuring the reliance of language models on part-of-speech information, and reducing gender bias in BERT embeddings. Code is available at https://github.com/EleutherAI/concept-erasure.