Крупные языковые модели неявно учатся видеть и слышать, просто читая текст.

Large Language Models Implicitly Learn to See and Hear Just By Reading

May 20, 2025

Авторы: Prateek Verma, Mert Pilanci

cs.AI

Аннотация

В данной статье представлено удивительное открытие: при обучении авторегрессивной языковой модели (LLM) на текстовых токенах, текстовая модель внутренне развивает способность понимать изображения и аудио, тем самым приобретая способность видеть и слышать, просто читая. Популярные аудио- и визуальные LLM модели дообучают текстовые LLM модели для вывода текста, обусловленного вложениями изображений и аудио. С другой стороны, наша архитектура принимает на вход фрагменты изображений, аудиоволны или токены и выдает вложения или метки категорий, характерные для классификационного конвейера. Мы демонстрируем универсальность весов текстовой модели в улучшении классификации аудио для наборов данных FSD-50K и GTZAN. Кроме того, мы показываем, что это работает для классификации изображений на CIFAR-10 и Fashion-MNIST, а также для фрагментов изображений. Это расширяет представление о том, что текстовые LLM модели обучаются мощным внутренним схемам, которые могут быть задействованы путем активации необходимых связей для различных приложений, вместо того чтобы каждый раз обучать модели с нуля.

English

This paper presents a fascinating find: By training an auto-regressive LLM model on text tokens, the text model inherently develops internally an ability to understand images and audio, thereby developing the ability to see and hear just by reading. Popular audio and visual LLM models fine-tune text LLM models to give text output conditioned on images and audio embeddings. On the other hand, our architecture takes in patches of images, audio waveforms or tokens as input. It gives us the embeddings or category labels typical of a classification pipeline. We show the generality of text weights in aiding audio classification for datasets FSD-50K and GTZAN. Further, we show this working for image classification on CIFAR-10 and Fashion-MNIST, as well on image patches. This pushes the notion of text-LLMs learning powerful internal circuits that can be utilized by activating necessary connections for various applications rather than training models from scratch every single time.