Введение в моделирование видео-языковых данных.

An Introduction to Vision-Language Modeling

May 27, 2024

Авторы: Florian Bordes, Richard Yuanzhe Pang, Anurag Ajay, Alexander C. Li, Adrien Bardes, Suzanne Petryk, Oscar Mañas, Zhiqiu Lin, Anas Mahmoud, Bargav Jayaraman, Mark Ibrahim, Melissa Hall, Yunyang Xiong, Jonathan Lebensold, Candace Ross, Srihari Jayakumar, Chuan Guo, Diane Bouchacourt, Haider Al-Tahan, Karthik Padthe, Vasu Sharma, Hu Xu, Xiaoqing Ellen Tan, Megan Richards, Samuel Lavoie, Pietro Astolfi, Reyhane Askari Hemmat, Jun Chen, Kushal Tirumala, Rim Assouel, Mazda Moayeri, Arjang Talattof, Kamalika Chaudhuri, Zechun Liu, Xilun Chen, Quentin Garrido, Karen Ullrich, Aishwarya Agrawal, Kate Saenko, Asli Celikyilmaz, Vikas Chandra

cs.AI

Аннотация

В связи с недавней популярностью больших языковых моделей (LLM) было предпринято несколько попыток расширить их до визуальной области. От наличия визуального ассистента, который мог бы проводить нас по незнакомым окружениям, до генеративных моделей, создающих изображения, используя только текстовое описание на высоком уровне, приложения моделей видео-языка (VLM) значительно повлияют на наши отношения с технологиями. Однако существует множество проблем, которые необходимо решить для улучшения надежности этих моделей. В то время как язык является дискретным, визия развивается в гораздо более высокомерном пространстве, в котором концепции не всегда могут быть легко дискретизированы. Для лучшего понимания механики преобразования визии в язык мы представляем это введение в модели видео-языка, которое, мы надеемся, поможет всем, кто хотел бы войти в эту область. Сначала мы представляем, что такое модели видео-языка, как они работают и как их обучать. Затем мы представляем и обсуждаем подходы к оценке моделей видео-языка. Хотя эта работа в первую очередь фокусируется на преобразовании изображений в язык, мы также обсуждаем расширение моделей видео-языка на видео.

English

Following the recent popularity of Large Language Models (LLMs), several attempts have been made to extend them to the visual domain. From having a visual assistant that could guide us through unfamiliar environments to generative models that produce images using only a high-level text description, the vision-language model (VLM) applications will significantly impact our relationship with technology. However, there are many challenges that need to be addressed to improve the reliability of those models. While language is discrete, vision evolves in a much higher dimensional space in which concepts cannot always be easily discretized. To better understand the mechanics behind mapping vision to language, we present this introduction to VLMs which we hope will help anyone who would like to enter the field. First, we introduce what VLMs are, how they work, and how to train them. Then, we present and discuss approaches to evaluate VLMs. Although this work primarily focuses on mapping images to language, we also discuss extending VLMs to videos.