Kontrafaktische Generierung aus Sprachmodellen

Counterfactual Generation from Language Models

November 11, 2024

Autoren: Shauli Ravfogel, Anej Svete, Vésteinn Snæbjarnarson, Ryan Cotterell

cs.AI

Zusammenfassung

Das Verständnis und die Manipulation der kausalen Generierungsmechanismen in Sprachmodellen sind entscheidend für die Kontrolle ihres Verhaltens. Bisherige Arbeiten haben hauptsächlich auf Techniken wie Repräsentationschirurgie - z. B. Modell-Ablationen oder Manipulation von linearen Teilräumen, die mit spezifischen Konzepten verbunden sind - zurückgegriffen, um in diese Modelle einzugreifen. Um den genauen Einfluss von Interventionen zu verstehen, ist es nützlich, Gegentatsachen zu untersuchen - z. B. wie ein bestimmter Satz ausgesehen hätte, wenn er vom Modell nach einer bestimmten Intervention generiert worden wäre. Wir betonen, dass das Gegentatsachen-Argumentationsverfahren konzeptionell von Interventionen unterschieden ist, wie es in Pearls kausaler Hierarchie dargelegt ist. Basierend auf dieser Beobachtung schlagen wir ein Rahmenwerk zur Generierung echter Zeichen-Gegentatsachen vor, indem wir Sprachmodelle als Generalisierte Strukturgleichungsmodelle unter Verwendung des Gumbel-Max-Tricks neu formulieren. Dies ermöglicht es uns, die gemeinsame Verteilung über originale Zeichen und ihre Gegentatsachen zu modellieren, die aus derselben Instantiierung des Stichprobenrauschens resultieren. Wir entwickeln einen Algorithmus basierend auf dem Hindsight-Gumbel-Stichprobenverfahren, der es uns ermöglicht, die latenten Rauschvariablen zu erschließen und Gegentatsachen von beobachteten Zeichen zu generieren. Unsere Experimente zeigen, dass der Ansatz sinnvolle Gegentatsachen produziert und gleichzeitig aufzeigt, dass häufig verwendete Interventionsmethoden erhebliche unerwünschte Nebenwirkungen haben.

English

Understanding and manipulating the causal generation mechanisms in language models is essential for controlling their behavior. Previous work has primarily relied on techniques such as representation surgery -- e.g., model ablations or manipulation of linear subspaces tied to specific concepts -- to intervene on these models. To understand the impact of interventions precisely, it is useful to examine counterfactuals -- e.g., how a given sentence would have appeared had it been generated by the model following a specific intervention. We highlight that counterfactual reasoning is conceptually distinct from interventions, as articulated in Pearl's causal hierarchy. Based on this observation, we propose a framework for generating true string counterfactuals by reformulating language models as Generalized Structural-equation. Models using the Gumbel-max trick. This allows us to model the joint distribution over original strings and their counterfactuals resulting from the same instantiation of the sampling noise. We develop an algorithm based on hindsight Gumbel sampling that allows us to infer the latent noise variables and generate counterfactuals of observed strings. Our experiments demonstrate that the approach produces meaningful counterfactuals while at the same time showing that commonly used intervention techniques have considerable undesired side effects.