Generación Contrafactual a partir de Modelos de Lenguaje

Counterfactual Generation from Language Models

November 11, 2024

Autores: Shauli Ravfogel, Anej Svete, Vésteinn Snæbjarnarson, Ryan Cotterell

cs.AI

Resumen

Comprender y manipular los mecanismos de generación causal en los modelos de lenguaje es esencial para controlar su comportamiento. Trabajos anteriores se han basado principalmente en técnicas como la cirugía de representación, por ejemplo, ablaciones del modelo o manipulación de subespacios lineales vinculados a conceptos específicos, para intervenir en estos modelos. Para comprender con precisión el impacto de las intervenciones, es útil examinar los contrafactuales, por ejemplo, cómo habría aparecido una oración dada si hubiera sido generada por el modelo siguiendo una intervención específica. Destacamos que el razonamiento contrafactual es conceptualmente distinto de las intervenciones, como se articula en la jerarquía causal de Pearl. Basándonos en esta observación, proponemos un marco para generar contrafactuales de cadenas verdaderas reformulando los modelos de lenguaje como Modelos de Ecuaciones Estructurales Generalizadas utilizando el truco Gumbel-max. Esto nos permite modelar la distribución conjunta sobre cadenas originales y sus contrafactuales resultantes de la misma instanciación del ruido de muestreo. Desarrollamos un algoritmo basado en el muestreo Gumbel retrospectivo que nos permite inferir las variables de ruido latentes y generar contrafactuales de cadenas observadas. Nuestros experimentos demuestran que el enfoque produce contrafactuales significativos al mismo tiempo que muestran que las técnicas de intervención comúnmente utilizadas tienen efectos secundarios no deseados considerablemente importantes.

English

Understanding and manipulating the causal generation mechanisms in language models is essential for controlling their behavior. Previous work has primarily relied on techniques such as representation surgery -- e.g., model ablations or manipulation of linear subspaces tied to specific concepts -- to intervene on these models. To understand the impact of interventions precisely, it is useful to examine counterfactuals -- e.g., how a given sentence would have appeared had it been generated by the model following a specific intervention. We highlight that counterfactual reasoning is conceptually distinct from interventions, as articulated in Pearl's causal hierarchy. Based on this observation, we propose a framework for generating true string counterfactuals by reformulating language models as Generalized Structural-equation. Models using the Gumbel-max trick. This allows us to model the joint distribution over original strings and their counterfactuals resulting from the same instantiation of the sampling noise. We develop an algorithm based on hindsight Gumbel sampling that allows us to infer the latent noise variables and generate counterfactuals of observed strings. Our experiments demonstrate that the approach produces meaningful counterfactuals while at the same time showing that commonly used intervention techniques have considerable undesired side effects.