LEACE: Eliminación perfecta de conceptos lineales en forma cerrada

LEACE: Perfect linear concept erasure in closed form

June 6, 2023

Autores: Nora Belrose, David Schneider-Joseph, Shauli Ravfogel, Ryan Cotterell, Edward Raff, Stella Biderman

cs.AI

Resumen

La eliminación de conceptos tiene como objetivo eliminar características específicas de una representación. Puede utilizarse para mejorar la equidad (por ejemplo, evitar que un clasificador utilice género o raza) y la interpretabilidad (por ejemplo, eliminar un concepto para observar cambios en el comportamiento del modelo). En este artículo, presentamos LEACE (Eliminación de Conceptos por Mínimos Cuadrados), un método de forma cerrada que, de manera demostrable, impide que todos los clasificadores lineales detecten un concepto mientras causa el menor daño posible a la representación. Aplicamos LEACE a modelos de lenguaje extensos con un procedimiento novedoso llamado "limpieza de conceptos", que elimina la información del concepto objetivo de cada capa de la red. Demostramos la utilidad de nuestro método en dos tareas: medir la dependencia de los modelos de lenguaje en la información de categorías gramaticales y reducir el sesgo de género en los embeddings de BERT. El código está disponible en https://github.com/EleutherAI/concept-erasure.

English

Concept erasure aims to remove specified features from a representation. It can be used to improve fairness (e.g. preventing a classifier from using gender or race) and interpretability (e.g. removing a concept to observe changes in model behavior). In this paper, we introduce LEAst-squares Concept Erasure (LEACE), a closed-form method which provably prevents all linear classifiers from detecting a concept while inflicting the least possible damage to the representation. We apply LEACE to large language models with a novel procedure called "concept scrubbing," which erases target concept information from every layer in the network. We demonstrate the usefulness of our method on two tasks: measuring the reliance of language models on part-of-speech information, and reducing gender bias in BERT embeddings. Code is available at https://github.com/EleutherAI/concept-erasure.