LOVM: Selezione del Modello Visivo Basato Esclusivamente sul Linguaggio

Abstract

I modelli visione-linguaggio pre-addestrati (VLM) stanno diventando sempre più popolari grazie alle loro prestazioni eccezionali nelle applicazioni visive downstream, in particolare negli scenari few-shot e zero-shot. Tuttavia, selezionare il VLM con le migliori prestazioni per alcune applicazioni downstream non è banale, poiché dipende dal dataset e dal task. Nel frattempo, la valutazione esaustiva di tutti i VLM disponibili per una nuova applicazione non solo richiede tempo e risorse computazionali, ma necessita anche della raccolta di un dataset etichettato per la valutazione. Con l'aumento del numero di varianti open-source di VLM, emerge la necessità di una strategia efficiente per la selezione dei modelli che non richieda l'accesso a un dataset di valutazione curato. Questo articolo propone un nuovo task e benchmark per valutare in modo efficiente le prestazioni zero-shot dei VLM su applicazioni downstream senza accesso al dataset del task downstream. Nello specifico, introduciamo un nuovo task chiamato LOVM: Language-Only Vision Model Selection, in cui i metodi devono eseguire sia la selezione del modello che la previsione delle prestazioni basandosi esclusivamente su una descrizione testuale dell'applicazione downstream desiderata. Successivamente, abbiamo introdotto un ampio benchmark LOVM composto da valutazioni ground-truth di 35 VLM pre-addestrati e 23 dataset, in cui i metodi devono classificare i VLM pre-addestrati e prevedere le loro prestazioni zero-shot.

English

Pre-trained multi-modal vision-language models (VLMs) are becoming increasingly popular due to their exceptional performance on downstream vision applications, particularly in the few- and zero-shot settings. However, selecting the best-performing VLM for some downstream applications is non-trivial, as it is dataset and task-dependent. Meanwhile, the exhaustive evaluation of all available VLMs on a novel application is not only time and computationally demanding but also necessitates the collection of a labeled dataset for evaluation. As the number of open-source VLM variants increases, there is a need for an efficient model selection strategy that does not require access to a curated evaluation dataset. This paper proposes a novel task and benchmark for efficiently evaluating VLMs' zero-shot performance on downstream applications without access to the downstream task dataset. Specifically, we introduce a new task LOVM: Language-Only Vision Model Selection, where methods are expected to perform both model selection and performance prediction based solely on a text description of the desired downstream application. We then introduced an extensive LOVM benchmark consisting of ground-truth evaluations of 35 pre-trained VLMs and 23 datasets, where methods are expected to rank the pre-trained VLMs and predict their zero-shot performance.