Un bilan de vision pour les modèles de langage

A Vision Check-up for Language Models

January 3, 2024

Auteurs: Pratyusha Sharma, Tamar Rott Shaham, Manel Baradad, Stephanie Fu, Adrian Rodriguez-Munoz, Shivam Duggal, Phillip Isola, Antonio Torralba

cs.AI

Résumé

Que nous apprend la modélisation des relations entre chaînes de caractères sur le monde visuel pour les grands modèles de langage (LLMs) ? Nous évaluons systématiquement les capacités des LLMs à générer et à reconnaître une variété de concepts visuels de complexité croissante, puis nous démontrons comment un système préliminaire d'apprentissage de représentations visuelles peut être entraîné à l'aide de modèles de texte. Étant donné que les modèles de langage ne peuvent ni consommer ni produire des informations visuelles sous forme de pixels, nous utilisons du code pour représenter les images dans notre étude. Bien que les images générées par les LLMs ne ressemblent pas à des images naturelles, les résultats en matière de génération d'images et la capacité des modèles à corriger ces images générées indiquent qu'une modélisation précise des chaînes de caractères peut enseigner aux modèles de langage de nombreux aspects du monde visuel. De plus, des expériences sur l'apprentissage auto-supervisé de représentations visuelles, utilisant des images générées avec des modèles de texte, mettent en lumière le potentiel d'entraîner des modèles de vision capables de faire des évaluations sémantiques d'images naturelles en utilisant uniquement des LLMs.

English

What does learning to model relationships between strings teach large language models (LLMs) about the visual world? We systematically evaluate LLMs' abilities to generate and recognize an assortment of visual concepts of increasing complexity and then demonstrate how a preliminary visual representation learning system can be trained using models of text. As language models lack the ability to consume or output visual information as pixels, we use code to represent images in our study. Although LLM-generated images do not look like natural images, results on image generation and the ability of models to correct these generated images indicate that precise modeling of strings can teach language models about numerous aspects of the visual world. Furthermore, experiments on self-supervised visual representation learning, utilizing images generated with text models, highlight the potential to train vision models capable of making semantic assessments of natural images using just LLMs.