I grandi modelli linguistici imparano implicitamente a vedere e sentire semplicemente leggendo.
Large Language Models Implicitly Learn to See and Hear Just By Reading
May 20, 2025
Autori: Prateek Verma, Mert Pilanci
cs.AI
Abstract
Questo articolo presenta una scoperta affascinante: addestrando un modello LLM auto-regressivo su token di testo, il modello di testo sviluppa intrinsecamente al suo interno la capacità di comprendere immagini e audio, acquisendo così la capacità di vedere e sentire semplicemente leggendo. I popolari modelli LLM audio e visivi eseguono il fine-tuning di modelli LLM di testo per produrre output testuali condizionati da embedding di immagini e audio. D'altra parte, la nostra architettura accetta in input patch di immagini, forme d'onda audio o token. Fornisce gli embedding o le etichette di categoria tipiche di una pipeline di classificazione. Dimostriamo la generalità dei pesi del testo nell'aiutare la classificazione audio per i dataset FSD-50K e GTZAN. Inoltre, mostriamo che questo funziona per la classificazione di immagini su CIFAR-10 e Fashion-MNIST, così come su patch di immagini. Ciò spinge l'idea che i modelli LLM di testo apprendano potenti circuiti interni che possono essere utilizzati attivando le connessioni necessarie per varie applicazioni, piuttosto che addestrare modelli da zero ogni volta.
English
This paper presents a fascinating find: By training an auto-regressive LLM
model on text tokens, the text model inherently develops internally an ability
to understand images and audio, thereby developing the ability to see and hear
just by reading. Popular audio and visual LLM models fine-tune text LLM models
to give text output conditioned on images and audio embeddings. On the other
hand, our architecture takes in patches of images, audio waveforms or tokens as
input. It gives us the embeddings or category labels typical of a
classification pipeline. We show the generality of text weights in aiding audio
classification for datasets FSD-50K and GTZAN. Further, we show this working
for image classification on CIFAR-10 and Fashion-MNIST, as well on image
patches. This pushes the notion of text-LLMs learning powerful internal
circuits that can be utilized by activating necessary connections for various
applications rather than training models from scratch every single time.