Построение и более глубокое понимание моделей видео-языкового взаимодействия: идеи и перспективы развития

Building and better understanding vision-language models: insights and future directions

August 22, 2024

Авторы: Hugo Laurençon, Andrés Marafioti, Victor Sanh, Léo Tronchon

cs.AI

Аннотация

Область моделей видео-языка (VLM), которые принимают изображения и тексты в качестве входных данных и выдают тексты, стремительно развивается и пока не достигла согласия по нескольким ключевым аспектам процесса разработки, включая данные, архитектуру и методы обучения. Этот документ можно рассматривать как руководство по созданию VLM. Мы начинаем с обзора текущих передовых подходов, выделяя сильные и слабые стороны каждого из них, рассматривая основные проблемы в области и предлагая перспективные направления исследований для недостаточно изученных областей. Затем мы переходим к практическим шагам по созданию Idefics3-8B, мощного VLM, который значительно превосходит своего предшественника Idefics2-8B, обучаясь эффективно, исключительно на открытых наборах данных и используя простой процесс. Эти шаги включают создание Docmatix, набора данных для улучшения способностей понимания документов, который в 240 раз больше, чем ранее доступные наборы данных. Мы предоставляем модель вместе с созданными для ее обучения наборами данных.

English

The field of vision-language models (VLMs), which take images and texts as inputs and output texts, is rapidly evolving and has yet to reach consensus on several key aspects of the development pipeline, including data, architecture, and training methods. This paper can be seen as a tutorial for building a VLM. We begin by providing a comprehensive overview of the current state-of-the-art approaches, highlighting the strengths and weaknesses of each, addressing the major challenges in the field, and suggesting promising research directions for underexplored areas. We then walk through the practical steps to build Idefics3-8B, a powerful VLM that significantly outperforms its predecessor Idefics2-8B, while being trained efficiently, exclusively on open datasets, and using a straightforward pipeline. These steps include the creation of Docmatix, a dataset for improving document understanding capabilities, which is 240 times larger than previously available datasets. We release the model along with the datasets created for its training.