LOVM : Sélection de modèles de vision basée uniquement sur le langage

Résumé

Les modèles vision-langage pré-entraînés (VLMs) gagnent en popularité grâce à leurs performances exceptionnelles sur des applications vision en aval, en particulier dans des contextes de few-shot et zero-shot. Cependant, sélectionner le VLM le plus performant pour certaines applications en aval n'est pas trivial, car cela dépend du jeu de données et de la tâche. Par ailleurs, l'évaluation exhaustive de tous les VLMs disponibles pour une nouvelle application est non seulement coûteuse en temps et en ressources de calcul, mais nécessite également la collecte d'un jeu de données annoté pour l'évaluation. Alors que le nombre de variantes open-source de VLMs augmente, il devient nécessaire de disposer d'une stratégie de sélection de modèle efficace qui ne nécessite pas l'accès à un jeu de données d'évaluation préparé. Cet article propose une nouvelle tâche et un benchmark pour évaluer efficacement les performances zero-shot des VLMs sur des applications en aval sans accès au jeu de données de la tâche cible. Plus précisément, nous introduisons une nouvelle tâche appelée LOVM : Sélection de Modèle Vision par Langage Uniquement, où les méthodes doivent effectuer à la fois la sélection de modèle et la prédiction de performance uniquement à partir d'une description textuelle de l'application en aval souhaitée. Nous présentons ensuite un benchmark LOVM complet, comprenant des évaluations de référence pour 35 VLMs pré-entraînés et 23 jeux de données, où les méthodes doivent classer les VLMs pré-entraînés et prédire leurs performances zero-shot.

English

Pre-trained multi-modal vision-language models (VLMs) are becoming increasingly popular due to their exceptional performance on downstream vision applications, particularly in the few- and zero-shot settings. However, selecting the best-performing VLM for some downstream applications is non-trivial, as it is dataset and task-dependent. Meanwhile, the exhaustive evaluation of all available VLMs on a novel application is not only time and computationally demanding but also necessitates the collection of a labeled dataset for evaluation. As the number of open-source VLM variants increases, there is a need for an efficient model selection strategy that does not require access to a curated evaluation dataset. This paper proposes a novel task and benchmark for efficiently evaluating VLMs' zero-shot performance on downstream applications without access to the downstream task dataset. Specifically, we introduce a new task LOVM: Language-Only Vision Model Selection, where methods are expected to perform both model selection and performance prediction based solely on a text description of the desired downstream application. We then introduced an extensive LOVM benchmark consisting of ground-truth evaluations of 35 pre-trained VLMs and 23 datasets, where methods are expected to rank the pre-trained VLMs and predict their zero-shot performance.