Construction et meilleure compréhension des modèles vision-langage : perspectives et orientations futures

Building and better understanding vision-language models: insights and future directions

August 22, 2024

Auteurs: Hugo Laurençon, Andrés Marafioti, Victor Sanh, Léo Tronchon

cs.AI

Résumé

Le domaine des modèles vision-langage (VLM), qui prennent des images et des textes en entrée et produisent des textes en sortie, évolue rapidement et n'a pas encore trouvé de consensus sur plusieurs aspects clés du processus de développement, notamment les données, l'architecture et les méthodes d'entraînement. Ce document peut être considéré comme un tutoriel pour la construction d'un VLM. Nous commençons par fournir un aperçu complet des approches de pointe actuelles, en mettant en avant les forces et les faiblesses de chacune, en abordant les principaux défis du domaine, et en suggérant des orientations de recherche prometteuses pour les domaines peu explorés. Nous passons ensuite en revue les étapes pratiques pour construire Idefics3-8B, un puissant VLM qui surpasse significativement son prédécesseur Idefics2-8B, tout en étant entraîné de manière efficace, exclusivement sur des ensembles de données ouverts, et en utilisant un processus simple. Ces étapes comprennent la création de Docmatix, un ensemble de données pour améliorer les capacités de compréhension des documents, qui est 240 fois plus grand que les ensembles de données précédemment disponibles. Nous publions le modèle ainsi que les ensembles de données créés pour son entraînement.

English

The field of vision-language models (VLMs), which take images and texts as inputs and output texts, is rapidly evolving and has yet to reach consensus on several key aspects of the development pipeline, including data, architecture, and training methods. This paper can be seen as a tutorial for building a VLM. We begin by providing a comprehensive overview of the current state-of-the-art approaches, highlighting the strengths and weaknesses of each, addressing the major challenges in the field, and suggesting promising research directions for underexplored areas. We then walk through the practical steps to build Idefics3-8B, a powerful VLM that significantly outperforms its predecessor Idefics2-8B, while being trained efficiently, exclusively on open datasets, and using a straightforward pipeline. These steps include the creation of Docmatix, a dataset for improving document understanding capabilities, which is 240 times larger than previously available datasets. We release the model along with the datasets created for its training.