Construção e melhor compreensão de modelos visão-linguagem: insights e direções futuras

Building and better understanding vision-language models: insights and future directions

August 22, 2024

Autores: Hugo Laurençon, Andrés Marafioti, Victor Sanh, Léo Tronchon

cs.AI

Resumo

O campo dos modelos visão-linguagem (VLMs), que recebem imagens e textos como entradas e produzem textos como saídas, está evoluindo rapidamente e ainda não chegou a um consenso sobre vários aspectos-chave do pipeline de desenvolvimento, incluindo dados, arquitetura e métodos de treinamento. Este artigo pode ser visto como um tutorial para a construção de um VLM. Começamos fornecendo uma visão abrangente das abordagens de ponta atuais, destacando os pontos fortes e fracos de cada uma, abordando os principais desafios no campo e sugerindo direções de pesquisa promissoras para áreas pouco exploradas. Em seguida, percorremos os passos práticos para construir o Idefics3-8B, um VLM poderoso que supera significativamente seu antecessor Idefics2-8B, sendo treinado de forma eficiente, exclusivamente em conjuntos de dados abertos e usando um pipeline direto. Esses passos incluem a criação do Docmatix, um conjunto de dados para melhorar as capacidades de compreensão de documentos, que é 240 vezes maior do que os conjuntos de dados disponíveis anteriormente. Lançamos o modelo juntamente com os conjuntos de dados criados para seu treinamento.

English

The field of vision-language models (VLMs), which take images and texts as inputs and output texts, is rapidly evolving and has yet to reach consensus on several key aspects of the development pipeline, including data, architecture, and training methods. This paper can be seen as a tutorial for building a VLM. We begin by providing a comprehensive overview of the current state-of-the-art approaches, highlighting the strengths and weaknesses of each, addressing the major challenges in the field, and suggesting promising research directions for underexplored areas. We then walk through the practical steps to build Idefics3-8B, a powerful VLM that significantly outperforms its predecessor Idefics2-8B, while being trained efficiently, exclusively on open datasets, and using a straightforward pipeline. These steps include the creation of Docmatix, a dataset for improving document understanding capabilities, which is 240 times larger than previously available datasets. We release the model along with the datasets created for its training.