Große Sprachmodelle lernen implizit zu sehen und zu hören, indem sie einfach nur lesen.

Large Language Models Implicitly Learn to See and Hear Just By Reading

May 20, 2025

Autoren: Prateek Verma, Mert Pilanci

cs.AI

Zusammenfassung

Dieses Papier präsentiert eine faszinierende Entdeckung: Durch das Training eines autoregressiven LLM-Modells auf Text-Tokens entwickelt das Textmodell intern die Fähigkeit, Bilder und Audio zu verstehen, wodurch es die Fähigkeit erlangt, zu sehen und zu hören, allein durch das Lesen von Text. Beliebte Audio- und visuelle LLM-Modelle verfeinern Text-LLM-Modelle, um Textausgaben zu erzeugen, die auf Bild- und Audio-Einbettungen basieren. Unser Architekturansatz hingegen nimmt Bildausschnitte, Audio-Wellenformen oder Tokens als Eingabe und liefert die Einbettungen oder Kategorielabels, die typischerweise in einer Klassifikationspipeline verwendet werden. Wir zeigen die Allgemeingültigkeit von Text-Gewichten bei der Unterstützung der Audio-Klassifikation für die Datensätze FSD-50K und GTZAN. Darüber hinaus demonstrieren wir dies für die Bildklassifikation auf CIFAR-10 und Fashion-MNIST sowie auf Bildausschnitten. Dies untermauert die Vorstellung, dass Text-LLMs leistungsfähige interne Schaltkreise erlernen, die durch die Aktivierung notwendiger Verbindungen für verschiedene Anwendungen genutzt werden können, anstatt jedes Mal Modelle von Grund auf neu zu trainieren.

English

This paper presents a fascinating find: By training an auto-regressive LLM model on text tokens, the text model inherently develops internally an ability to understand images and audio, thereby developing the ability to see and hear just by reading. Popular audio and visual LLM models fine-tune text LLM models to give text output conditioned on images and audio embeddings. On the other hand, our architecture takes in patches of images, audio waveforms or tokens as input. It gives us the embeddings or category labels typical of a classification pipeline. We show the generality of text weights in aiding audio classification for datasets FSD-50K and GTZAN. Further, we show this working for image classification on CIFAR-10 and Fashion-MNIST, as well on image patches. This pushes the notion of text-LLMs learning powerful internal circuits that can be utilized by activating necessary connections for various applications rather than training models from scratch every single time.