Modelos de Linguagem de Grande Escala Aprendem Implicitamente a Ver e Ouvir Apenas Lendo

Large Language Models Implicitly Learn to See and Hear Just By Reading

May 20, 2025

Autores: Prateek Verma, Mert Pilanci

cs.AI

Resumo

Este artigo apresenta uma descoberta fascinante: ao treinar um modelo de LLM auto-regressivo em tokens de texto, o modelo de texto desenvolve internamente, de forma inerente, a capacidade de compreender imagens e áudio, adquirindo assim a habilidade de ver e ouvir apenas por meio da leitura. Modelos populares de LLM para áudio e visão ajustam modelos de LLM de texto para gerar saídas de texto condicionadas a embeddings de imagens e áudio. Por outro lado, nossa arquitetura recebe como entrada segmentos de imagens, formas de onda de áudio ou tokens. Ela nos fornece embeddings ou rótulos de categoria típicos de um pipeline de classificação. Demonstramos a generalidade dos pesos de texto ao auxiliar a classificação de áudio para os conjuntos de dados FSD-50K e GTZAN. Além disso, mostramos que isso funciona para classificação de imagens no CIFAR-10 e Fashion-MNIST, bem como em segmentos de imagens. Isso reforça a noção de que LLMs de texto aprendem circuitos internos poderosos que podem ser utilizados ao ativar as conexões necessárias para diversas aplicações, em vez de treinar modelos do zero todas as vezes.

English

This paper presents a fascinating find: By training an auto-regressive LLM model on text tokens, the text model inherently develops internally an ability to understand images and audio, thereby developing the ability to see and hear just by reading. Popular audio and visual LLM models fine-tune text LLM models to give text output conditioned on images and audio embeddings. On the other hand, our architecture takes in patches of images, audio waveforms or tokens as input. It gives us the embeddings or category labels typical of a classification pipeline. We show the generality of text weights in aiding audio classification for datasets FSD-50K and GTZAN. Further, we show this working for image classification on CIFAR-10 and Fashion-MNIST, as well on image patches. This pushes the notion of text-LLMs learning powerful internal circuits that can be utilized by activating necessary connections for various applications rather than training models from scratch every single time.