Мультимодальные нейроны в предобученных трансформерах, работающих только с текстом

Multimodal Neurons in Pretrained Text-Only Transformers

August 3, 2023

Авторы: Sarah Schwettmann, Neil Chowdhury, Antonio Torralba

cs.AI

Аннотация

Языковые модели демонстрируют впечатляющую способность обобщать представления, изученные в одной модальности, для решения задач в других модальностях. Можно ли проследить эту способность до отдельных нейронов? Мы исследуем случай, когда замороженный текстовый трансформер дополняется визуальной информацией с помощью самообучаемого визуального энкодера и единственной линейной проекции, обученной на задаче преобразования изображений в текст. Выходные данные проекционного слоя не сразу декодируются в язык, описывающий содержание изображения; вместо этого мы обнаруживаем, что преобразование между модальностями происходит глубже внутри трансформера. Мы представляем процедуру для идентификации "мультимодальных нейронов", которые преобразуют визуальные представления в соответствующий текст, и декодирования концепций, которые они вносят в остаточный поток модели. В серии экспериментов мы показываем, что мультимодальные нейроны работают с конкретными визуальными концепциями на различных входных данных и оказывают систематическое причинное влияние на генерацию описаний изображений.

English

Language models demonstrate remarkable capacity to generalize representations learned in one modality to downstream tasks in other modalities. Can we trace this ability to individual neurons? We study the case where a frozen text transformer is augmented with vision using a self-supervised visual encoder and a single linear projection learned on an image-to-text task. Outputs of the projection layer are not immediately decodable into language describing image content; instead, we find that translation between modalities occurs deeper within the transformer. We introduce a procedure for identifying "multimodal neurons" that convert visual representations into corresponding text, and decoding the concepts they inject into the model's residual stream. In a series of experiments, we show that multimodal neurons operate on specific visual concepts across inputs, and have a systematic causal effect on image captioning.