Una Introducción al Modelado Visión-Lenguaje

An Introduction to Vision-Language Modeling

May 27, 2024

Autores: Florian Bordes, Richard Yuanzhe Pang, Anurag Ajay, Alexander C. Li, Adrien Bardes, Suzanne Petryk, Oscar Mañas, Zhiqiu Lin, Anas Mahmoud, Bargav Jayaraman, Mark Ibrahim, Melissa Hall, Yunyang Xiong, Jonathan Lebensold, Candace Ross, Srihari Jayakumar, Chuan Guo, Diane Bouchacourt, Haider Al-Tahan, Karthik Padthe, Vasu Sharma, Hu Xu, Xiaoqing Ellen Tan, Megan Richards, Samuel Lavoie, Pietro Astolfi, Reyhane Askari Hemmat, Jun Chen, Kushal Tirumala, Rim Assouel, Mazda Moayeri, Arjang Talattof, Kamalika Chaudhuri, Zechun Liu, Xilun Chen, Quentin Garrido, Karen Ullrich, Aishwarya Agrawal, Kate Saenko, Asli Celikyilmaz, Vikas Chandra

cs.AI

Resumen

Tras la reciente popularidad de los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés), se han realizado varios intentos para extenderlos al dominio visual. Desde contar con un asistente visual que pueda guiarnos en entornos desconocidos hasta modelos generativos que producen imágenes utilizando únicamente una descripción textual de alto nivel, las aplicaciones de los modelos de visión y lenguaje (VLM, por sus siglas en inglés) tendrán un impacto significativo en nuestra relación con la tecnología. Sin embargo, existen muchos desafíos que deben abordarse para mejorar la confiabilidad de estos modelos. Mientras que el lenguaje es discreto, la visión se desarrolla en un espacio de dimensiones mucho más altas en el que los conceptos no siempre pueden discretizarse fácilmente. Para comprender mejor los mecanismos detrás del mapeo de la visión al lenguaje, presentamos esta introducción a los VLMs, que esperamos sea útil para cualquier persona que desee adentrarse en este campo. Primero, introducimos qué son los VLMs, cómo funcionan y cómo entrenarlos. Luego, presentamos y discutimos enfoques para evaluar los VLMs. Aunque este trabajo se centra principalmente en el mapeo de imágenes a lenguaje, también discutimos la extensión de los VLMs a videos.

English

Following the recent popularity of Large Language Models (LLMs), several attempts have been made to extend them to the visual domain. From having a visual assistant that could guide us through unfamiliar environments to generative models that produce images using only a high-level text description, the vision-language model (VLM) applications will significantly impact our relationship with technology. However, there are many challenges that need to be addressed to improve the reliability of those models. While language is discrete, vision evolves in a much higher dimensional space in which concepts cannot always be easily discretized. To better understand the mechanics behind mapping vision to language, we present this introduction to VLMs which we hope will help anyone who would like to enter the field. First, we introduce what VLMs are, how they work, and how to train them. Then, we present and discuss approaches to evaluate VLMs. Although this work primarily focuses on mapping images to language, we also discuss extending VLMs to videos.