사전 학습된 텍스트 전용 트랜스포머의 다중모달 뉴런

초록

언어 모델은 한 가지 양식에서 학습한 표현을 다른 양식의 하위 작업으로 일반화하는 놀라운 능력을 보여줍니다. 이러한 능력을 개별 뉴런으로 추적할 수 있을까요? 우리는 고정된 텍스트 트랜스포머가 자기 지도 학습된 시각 인코더와 이미지-텍스트 작업에서 학습된 단일 선형 투영을 통해 시각 정보를 보강한 경우를 연구합니다. 투영 계층의 출력은 이미지 내용을 설명하는 언어로 즉시 디코딩되지 않으며, 대신 양식 간 변환이 트랜스포머 내부 깊은 곳에서 발생함을 발견했습니다. 우리는 시각적 표현을 해당 텍스트로 변환하는 "다중 양식 뉴런"을 식별하고, 이들이 모델의 잔차 스트림에 주입하는 개념을 디코딩하는 절차를 소개합니다. 일련의 실험을 통해, 다중 양식 뉴런이 입력에 걸쳐 특정 시각적 개념에 대해 작동하며, 이미지 캡션 생성에 체계적인 인과적 영향을 미친다는 것을 보여줍니다.

English

Language models demonstrate remarkable capacity to generalize representations learned in one modality to downstream tasks in other modalities. Can we trace this ability to individual neurons? We study the case where a frozen text transformer is augmented with vision using a self-supervised visual encoder and a single linear projection learned on an image-to-text task. Outputs of the projection layer are not immediately decodable into language describing image content; instead, we find that translation between modalities occurs deeper within the transformer. We introduce a procedure for identifying "multimodal neurons" that convert visual representations into corresponding text, and decoding the concepts they inject into the model's residual stream. In a series of experiments, we show that multimodal neurons operate on specific visual concepts across inputs, and have a systematic causal effect on image captioning.

사전 학습된 텍스트 전용 트랜스포머의 다중모달 뉴런

Multimodal Neurons in Pretrained Text-Only Transformers

초록

Support