Een introductie tot Vision-Language Modeling
An Introduction to Vision-Language Modeling
May 27, 2024
Auteurs: Florian Bordes, Richard Yuanzhe Pang, Anurag Ajay, Alexander C. Li, Adrien Bardes, Suzanne Petryk, Oscar Mañas, Zhiqiu Lin, Anas Mahmoud, Bargav Jayaraman, Mark Ibrahim, Melissa Hall, Yunyang Xiong, Jonathan Lebensold, Candace Ross, Srihari Jayakumar, Chuan Guo, Diane Bouchacourt, Haider Al-Tahan, Karthik Padthe, Vasu Sharma, Hu Xu, Xiaoqing Ellen Tan, Megan Richards, Samuel Lavoie, Pietro Astolfi, Reyhane Askari Hemmat, Jun Chen, Kushal Tirumala, Rim Assouel, Mazda Moayeri, Arjang Talattof, Kamalika Chaudhuri, Zechun Liu, Xilun Chen, Quentin Garrido, Karen Ullrich, Aishwarya Agrawal, Kate Saenko, Asli Celikyilmaz, Vikas Chandra
cs.AI
Samenvatting
Naar aanleiding van de recente populariteit van Large Language Models (LLMs) zijn er verschillende pogingen gedaan om deze uit te breiden naar het visuele domein. Van een visuele assistent die ons kan begeleiden in onbekende omgevingen tot generatieve modellen die afbeeldingen produceren met alleen een hoogwaardige tekstbeschrijving, zullen vision-language models (VLM) een aanzienlijke impact hebben op onze relatie met technologie. Er zijn echter veel uitdagingen die moeten worden aangepakt om de betrouwbaarheid van deze modellen te verbeteren. Terwijl taal discreet is, ontwikkelt visie zich in een veel hoger dimensionale ruimte waarin concepten niet altijd gemakkelijk kunnen worden gediscretiseerd. Om de mechanismen achter het koppelen van visie aan taal beter te begrijpen, presenteren we deze introductie tot VLMs, die we hopen nuttig te vinden voor iedereen die het veld wil betreden. Eerst introduceren we wat VLMs zijn, hoe ze werken en hoe ze getraind kunnen worden. Vervolgens presenteren en bespreken we benaderingen om VLMs te evalueren. Hoewel dit werk zich voornamelijk richt op het koppelen van afbeeldingen aan taal, bespreken we ook de uitbreiding van VLMs naar video's.
English
Following the recent popularity of Large Language Models (LLMs), several
attempts have been made to extend them to the visual domain. From having a
visual assistant that could guide us through unfamiliar environments to
generative models that produce images using only a high-level text description,
the vision-language model (VLM) applications will significantly impact our
relationship with technology. However, there are many challenges that need to
be addressed to improve the reliability of those models. While language is
discrete, vision evolves in a much higher dimensional space in which concepts
cannot always be easily discretized. To better understand the mechanics behind
mapping vision to language, we present this introduction to VLMs which we hope
will help anyone who would like to enter the field. First, we introduce what
VLMs are, how they work, and how to train them. Then, we present and discuss
approaches to evaluate VLMs. Although this work primarily focuses on mapping
images to language, we also discuss extending VLMs to videos.