Patchscope: Унифицирующая структура для анализа скрытых представлений языковых моделей

Patchscope: A Unifying Framework for Inspecting Hidden Representations of Language Models

January 11, 2024

Авторы: Asma Ghandeharioun, Avi Caciularu, Adam Pearce, Lucas Dixon, Mor Geva

cs.AI

Аннотация

Исследование информации, закодированной в скрытых представлениях крупных языковых моделей (LLM), может объяснить поведение моделей и проверить их соответствие человеческим ценностям. Учитывая способности LLM генерировать текст, понятный человеку, мы предлагаем использовать саму модель для объяснения её внутренних представлений на естественном языке. Мы представляем фреймворк под названием Patchscopes и показываем, как его можно использовать для ответа на широкий круг исследовательских вопросов о вычислениях LLM. Мы демонстрируем, что предыдущие методы интерпретируемости, основанные на проекции представлений в пространство словаря и вмешательстве в вычисления LLM, могут рассматриваться как частные случаи этого фреймворка. Более того, некоторые их недостатки, такие как невозможность исследования ранних слоёв или ограниченная выразительность, могут быть устранены с помощью Patchscope. Помимо объединения существующих методов исследования, Patchscopes также открывает новые возможности, такие как использование более мощной модели для объяснения представлений менее мощной модели, и позволяет реализовать новые приложения, например, самокоррекцию в многошаговых рассуждениях.

English

Inspecting the information encoded in hidden representations of large language models (LLMs) can explain models' behavior and verify their alignment with human values. Given the capabilities of LLMs in generating human-understandable text, we propose leveraging the model itself to explain its internal representations in natural language. We introduce a framework called Patchscopes and show how it can be used to answer a wide range of research questions about an LLM's computation. We show that prior interpretability methods based on projecting representations into the vocabulary space and intervening on the LLM computation, can be viewed as special instances of this framework. Moreover, several of their shortcomings such as failure in inspecting early layers or lack of expressivity can be mitigated by a Patchscope. Beyond unifying prior inspection techniques, Patchscopes also opens up new possibilities such as using a more capable model to explain the representations of a smaller model, and unlocks new applications such as self-correction in multi-hop reasoning.