Patchscope: Ein einheitliches Framework zur Untersuchung versteckter Repräsentationen in Sprachmodellen

Patchscope: A Unifying Framework for Inspecting Hidden Representations of Language Models

January 11, 2024

Autoren: Asma Ghandeharioun, Avi Caciularu, Adam Pearce, Lucas Dixon, Mor Geva

cs.AI

Zusammenfassung

Die Untersuchung der in den verborgenen Repräsentationen großer Sprachmodelle (LLMs) kodierten Informationen kann das Verhalten der Modelle erklären und ihre Ausrichtung an menschlichen Werten überprüfen. Angesichts der Fähigkeiten von LLMs, menschenverständlichen Text zu generieren, schlagen wir vor, das Modell selbst zu nutzen, um seine internen Repräsentationen in natürlicher Sprache zu erklären. Wir stellen ein Framework namens Patchscopes vor und zeigen, wie es verwendet werden kann, um eine breite Palette von Forschungsfragen zur Berechnung eines LLMs zu beantworten. Wir zeigen, dass frühere Interpretationsmethoden, die auf der Projektion von Repräsentationen in den Vokabularraum und der Intervention in die LLM-Berechnung basieren, als spezielle Instanzen dieses Frameworks betrachtet werden können. Darüber hinaus können einige ihrer Schwächen, wie das Versagen bei der Untersuchung früher Schichten oder der Mangel an Ausdruckskraft, durch ein Patchscope gemildert werden. Über die Vereinheitlichung früher Untersuchungstechniken hinaus eröffnen Patchscopes auch neue Möglichkeiten, wie die Verwendung eines leistungsfähigeren Modells zur Erklärung der Repräsentationen eines kleineren Modells, und ermöglichen neue Anwendungen wie die Selbstkorrektur bei mehrstufigem Schlussfolgern.

English

Inspecting the information encoded in hidden representations of large language models (LLMs) can explain models' behavior and verify their alignment with human values. Given the capabilities of LLMs in generating human-understandable text, we propose leveraging the model itself to explain its internal representations in natural language. We introduce a framework called Patchscopes and show how it can be used to answer a wide range of research questions about an LLM's computation. We show that prior interpretability methods based on projecting representations into the vocabulary space and intervening on the LLM computation, can be viewed as special instances of this framework. Moreover, several of their shortcomings such as failure in inspecting early layers or lack of expressivity can be mitigated by a Patchscope. Beyond unifying prior inspection techniques, Patchscopes also opens up new possibilities such as using a more capable model to explain the representations of a smaller model, and unlocks new applications such as self-correction in multi-hop reasoning.