Multimodale Neuronen in Vooraf Getrainde Tekst-Enkel Transformers

Multimodal Neurons in Pretrained Text-Only Transformers

August 3, 2023

Auteurs: Sarah Schwettmann, Neil Chowdhury, Antonio Torralba

cs.AI

Samenvatting

Taalmodellen tonen een opmerkelijke capaciteit om representaties die in één modaliteit zijn geleerd, te generaliseren naar downstream taken in andere modaliteiten. Kunnen we dit vermogen herleiden tot individuele neuronen? We bestuderen het geval waarbij een bevroren teksttransformer wordt uitgebreid met visie door middel van een zelfsupervised visuele encoder en een enkele lineaire projectie die is geleerd op een beeld-naar-tekst taak. De uitvoer van de projectielaag is niet direct decodeerbaar in taal die de beeldinhoud beschrijft; in plaats daarvan vinden we dat de vertaling tussen modaliteiten dieper binnen de transformer plaatsvindt. We introduceren een procedure voor het identificeren van "multimodale neuronen" die visuele representaties omzetten in corresponderende tekst, en voor het decoderen van de concepten die ze injecteren in de reststroom van het model. In een reeks experimenten tonen we aan dat multimodale neuronen werken op specifieke visuele concepten over verschillende inputs, en een systematisch causaal effect hebben op beeldbeschrijving.

English

Language models demonstrate remarkable capacity to generalize representations learned in one modality to downstream tasks in other modalities. Can we trace this ability to individual neurons? We study the case where a frozen text transformer is augmented with vision using a self-supervised visual encoder and a single linear projection learned on an image-to-text task. Outputs of the projection layer are not immediately decodable into language describing image content; instead, we find that translation between modalities occurs deeper within the transformer. We introduce a procedure for identifying "multimodal neurons" that convert visual representations into corresponding text, and decoding the concepts they inject into the model's residual stream. In a series of experiments, we show that multimodal neurons operate on specific visual concepts across inputs, and have a systematic causal effect on image captioning.