Une introduction à la modélisation vision-langage

An Introduction to Vision-Language Modeling

May 27, 2024

Auteurs: Florian Bordes, Richard Yuanzhe Pang, Anurag Ajay, Alexander C. Li, Adrien Bardes, Suzanne Petryk, Oscar Mañas, Zhiqiu Lin, Anas Mahmoud, Bargav Jayaraman, Mark Ibrahim, Melissa Hall, Yunyang Xiong, Jonathan Lebensold, Candace Ross, Srihari Jayakumar, Chuan Guo, Diane Bouchacourt, Haider Al-Tahan, Karthik Padthe, Vasu Sharma, Hu Xu, Xiaoqing Ellen Tan, Megan Richards, Samuel Lavoie, Pietro Astolfi, Reyhane Askari Hemmat, Jun Chen, Kushal Tirumala, Rim Assouel, Mazda Moayeri, Arjang Talattof, Kamalika Chaudhuri, Zechun Liu, Xilun Chen, Quentin Garrido, Karen Ullrich, Aishwarya Agrawal, Kate Saenko, Asli Celikyilmaz, Vikas Chandra

cs.AI

Résumé

Suite à la popularité récente des modèles de langage à grande échelle (LLMs), plusieurs tentatives ont été faites pour les étendre au domaine visuel. Qu'il s'agisse d'un assistant visuel capable de nous guider dans des environnements inconnus ou de modèles génératifs produisant des images à partir d'une simple description textuelle de haut niveau, les applications des modèles vision-langage (VLM) auront un impact significatif sur notre relation avec la technologie. Cependant, de nombreux défis doivent être relevés pour améliorer la fiabilité de ces modèles. Alors que le langage est discret, la vision évolue dans un espace de bien plus haute dimension où les concepts ne peuvent pas toujours être facilement discrétisés. Pour mieux comprendre les mécanismes sous-jacents à la cartographie de la vision vers le langage, nous présentons cette introduction aux VLMs, que nous espérons utile à toute personne souhaitant s'engager dans ce domaine. Tout d'abord, nous introduisons ce que sont les VLMs, leur fonctionnement et leur entraînement. Ensuite, nous présentons et discutons des approches pour évaluer les VLMs. Bien que ce travail se concentre principalement sur la cartographie d'images vers le langage, nous abordons également l'extension des VLMs aux vidéos.

English

Following the recent popularity of Large Language Models (LLMs), several attempts have been made to extend them to the visual domain. From having a visual assistant that could guide us through unfamiliar environments to generative models that produce images using only a high-level text description, the vision-language model (VLM) applications will significantly impact our relationship with technology. However, there are many challenges that need to be addressed to improve the reliability of those models. While language is discrete, vision evolves in a much higher dimensional space in which concepts cannot always be easily discretized. To better understand the mechanics behind mapping vision to language, we present this introduction to VLMs which we hope will help anyone who would like to enter the field. First, we introduce what VLMs are, how they work, and how to train them. Then, we present and discuss approaches to evaluate VLMs. Although this work primarily focuses on mapping images to language, we also discuss extending VLMs to videos.