Patchscope: Een Unificerend Framework voor het Inspecteren van Verborgen Representaties in Taalmodellen

Patchscope: A Unifying Framework for Inspecting Hidden Representations of Language Models

January 11, 2024

Auteurs: Asma Ghandeharioun, Avi Caciularu, Adam Pearce, Lucas Dixon, Mor Geva

cs.AI

Samenvatting

Het inspecteren van de informatie die is gecodeerd in de verborgen representaties van grote taalmmodellen (LLM's) kan het gedrag van modellen verklaren en hun afstemming met menselijke waarden verifiëren. Gezien de mogelijkheden van LLM's om voor mensen begrijpelijke tekst te genereren, stellen we voor om het model zelf te gebruiken om zijn interne representaties in natuurlijke taal uit te leggen. We introduceren een raamwerk genaamd Patchscopes en laten zien hoe het kan worden gebruikt om een breed scala aan onderzoeksvragen over de berekeningen van een LLM te beantwoorden. We tonen aan dat eerdere interpreteerbaarheidsmethoden die gebaseerd zijn op het projecteren van representaties in de vocabulaire-ruimte en het ingrijpen in de LLM-berekeningen, kunnen worden gezien als speciale gevallen van dit raamwerk. Bovendien kunnen verschillende van hun tekortkomingen, zoals het falen bij het inspecteren van vroege lagen of een gebrek aan expressiviteit, worden verholpen door een Patchscope. Naast het verenigen van eerdere inspectietechnieken, opent Patchscopes ook nieuwe mogelijkheden, zoals het gebruik van een krachtiger model om de representaties van een kleiner model uit te leggen, en ontgrendelt het nieuwe toepassingen, zoals zelfcorrectie in multi-hop redenering.

English

Inspecting the information encoded in hidden representations of large language models (LLMs) can explain models' behavior and verify their alignment with human values. Given the capabilities of LLMs in generating human-understandable text, we propose leveraging the model itself to explain its internal representations in natural language. We introduce a framework called Patchscopes and show how it can be used to answer a wide range of research questions about an LLM's computation. We show that prior interpretability methods based on projecting representations into the vocabulary space and intervening on the LLM computation, can be viewed as special instances of this framework. Moreover, several of their shortcomings such as failure in inspecting early layers or lack of expressivity can be mitigated by a Patchscope. Beyond unifying prior inspection techniques, Patchscopes also opens up new possibilities such as using a more capable model to explain the representations of a smaller model, and unlocks new applications such as self-correction in multi-hop reasoning.