LOVM: Taal-Enkel Visueel Model Selectie

Samenvatting

Vooraf getrainde multimodale visie-taalmodelen (VLMs) worden steeds populairder vanwege hun uitzonderlijke prestaties bij downstream visietoepassingen, met name in few-shot en zero-shot instellingen. Het selecteren van het best presterende VLM voor bepaalde downstream toepassingen is echter niet triviaal, omdat dit afhankelijk is van de dataset en de taak. Tegelijkertijd is het uitgebreide evalueren van alle beschikbare VLMs op een nieuwe toepassing niet alleen tijd- en rekenintensief, maar vereist het ook het verzamelen van een gelabelde dataset voor evaluatie. Naarmate het aantal open-source VLM-varianten toeneemt, is er behoefte aan een efficiënte modelselectiestrategie die geen toegang vereist tot een gecureerde evaluatiedataset. Dit artikel stelt een nieuwe taak en benchmark voor om de zero-shot prestaties van VLMs op downstream toepassingen efficiënt te evalueren zonder toegang tot de downstream taakdataset. Specifiek introduceren we een nieuwe taak LOVM: Language-Only Vision Model Selection, waarbij methoden zowel modelselectie als prestatievoorspelling moeten uitvoeren op basis van alleen een tekstbeschrijving van de gewenste downstream toepassing. Vervolgens introduceren we een uitgebreide LOVM-benchmark bestaande uit grondwaarheidsevaluaties van 35 vooraf getrainde VLMs en 23 datasets, waarbij methoden de vooraf getrainde VLMs moeten rangschikken en hun zero-shot prestaties moeten voorspellen.

English

Pre-trained multi-modal vision-language models (VLMs) are becoming increasingly popular due to their exceptional performance on downstream vision applications, particularly in the few- and zero-shot settings. However, selecting the best-performing VLM for some downstream applications is non-trivial, as it is dataset and task-dependent. Meanwhile, the exhaustive evaluation of all available VLMs on a novel application is not only time and computationally demanding but also necessitates the collection of a labeled dataset for evaluation. As the number of open-source VLM variants increases, there is a need for an efficient model selection strategy that does not require access to a curated evaluation dataset. This paper proposes a novel task and benchmark for efficiently evaluating VLMs' zero-shot performance on downstream applications without access to the downstream task dataset. Specifically, we introduce a new task LOVM: Language-Only Vision Model Selection, where methods are expected to perform both model selection and performance prediction based solely on a text description of the desired downstream application. We then introduced an extensive LOVM benchmark consisting of ground-truth evaluations of 35 pre-trained VLMs and 23 datasets, where methods are expected to rank the pre-trained VLMs and predict their zero-shot performance.