패치스코프: 언어 모델의 숨겨진 표현을 탐구하기 위한 통합 프레임워크

초록

대규모 언어 모델(LLM)의 은닉 표현에 인코딩된 정보를 검사함으로써 모델의 행동을 설명하고 인간의 가치와의 일치 여부를 검증할 수 있습니다. LLM이 인간이 이해할 수 있는 텍스트를 생성하는 능력을 고려할 때, 우리는 모델 자체를 활용하여 그 내부 표현을 자연어로 설명하는 방법을 제안합니다. 우리는 '패치스코프(Patchscopes)'라는 프레임워크를 소개하고, 이를 통해 LLM의 계산에 관한 다양한 연구 질문에 답할 수 있는 방법을 보여줍니다. 우리는 표현을 어휘 공간에 투영하고 LLM 계산에 개입하는 기존의 해석 가능성 방법들이 이 프레임워크의 특수한 사례로 간주될 수 있음을 보여줍니다. 또한, 초기 레이어 검사 실패나 표현력 부족과 같은 기존 방법의 단점들은 패치스코프를 통해 완화될 수 있습니다. 패치스코프는 기존 검사 기술을 통합하는 것을 넘어, 더 강력한 모델을 사용하여 더 작은 모델의 표현을 설명하거나, 다중 단계 추론에서의 자기 수정과 같은 새로운 응용 가능성을 열어줍니다.

English

Inspecting the information encoded in hidden representations of large language models (LLMs) can explain models' behavior and verify their alignment with human values. Given the capabilities of LLMs in generating human-understandable text, we propose leveraging the model itself to explain its internal representations in natural language. We introduce a framework called Patchscopes and show how it can be used to answer a wide range of research questions about an LLM's computation. We show that prior interpretability methods based on projecting representations into the vocabulary space and intervening on the LLM computation, can be viewed as special instances of this framework. Moreover, several of their shortcomings such as failure in inspecting early layers or lack of expressivity can be mitigated by a Patchscope. Beyond unifying prior inspection techniques, Patchscopes also opens up new possibilities such as using a more capable model to explain the representations of a smaller model, and unlocks new applications such as self-correction in multi-hop reasoning.

패치스코프: 언어 모델의 숨겨진 표현을 탐구하기 위한 통합 프레임워크

Patchscope: A Unifying Framework for Inspecting Hidden Representations of Language Models

초록

Support