Проверка зрения для языковых моделей

A Vision Check-up for Language Models

January 3, 2024

Авторы: Pratyusha Sharma, Tamar Rott Shaham, Manel Baradad, Stephanie Fu, Adrian Rodriguez-Munoz, Shivam Duggal, Phillip Isola, Antonio Torralba

cs.AI

Аннотация

Чему обучение моделированию отношений между строками учит большие языковые модели (LLMs) о визуальном мире? Мы систематически оцениваем способности LLMs генерировать и распознавать разнообразные визуальные концепции возрастающей сложности, а затем демонстрируем, как можно обучить предварительную систему обучения визуальным представлениям с использованием моделей текста. Поскольку языковые модели не способны воспринимать или выводить визуальную информацию в виде пикселей, в нашем исследовании мы используем код для представления изображений. Хотя изображения, сгенерированные LLMs, не выглядят как естественные, результаты по генерации изображений и способность моделей корректировать эти сгенерированные изображения указывают на то, что точное моделирование строк может научить языковые модели многим аспектам визуального мира. Более того, эксперименты по самообучению визуальных представлений, использующие изображения, сгенерированные с помощью текстовых моделей, подчеркивают потенциал обучения моделей зрения, способных делать семантические оценки естественных изображений, используя только LLMs.

English

What does learning to model relationships between strings teach large language models (LLMs) about the visual world? We systematically evaluate LLMs' abilities to generate and recognize an assortment of visual concepts of increasing complexity and then demonstrate how a preliminary visual representation learning system can be trained using models of text. As language models lack the ability to consume or output visual information as pixels, we use code to represent images in our study. Although LLM-generated images do not look like natural images, results on image generation and the ability of models to correct these generated images indicate that precise modeling of strings can teach language models about numerous aspects of the visual world. Furthermore, experiments on self-supervised visual representation learning, utilizing images generated with text models, highlight the potential to train vision models capable of making semantic assessments of natural images using just LLMs.