VisIT-Bench: Un Benchmark per il Seguimento di Istruzioni Visione-Linguaggio Ispirato all'Uso nel Mondo Reale
VisIT-Bench: A Benchmark for Vision-Language Instruction Following Inspired by Real-World Use
August 12, 2023
Autori: Yonatan Bitton, Hritik Bansal, Jack Hessel, Rulin Shao, Wanrong Zhu, Anas Awadalla, Josh Gardner, Rohan Taori, Ludwig Schimdt
cs.AI
Abstract
Presentiamo VisIT-Bench (Visual InsTruction Benchmark), un benchmark per la valutazione di modelli visione-linguaggio sintonizzati su istruzioni, destinati a un uso nel mondo reale. Il nostro punto di partenza è la creazione di 70 "famiglie di istruzioni" che riteniamo i modelli visione-linguaggio sintonizzati su istruzioni dovrebbero essere in grado di affrontare. Andando oltre valutazioni come VQAv2 e COCO, i compiti spaziano dal riconoscimento di base al gioco e alla generazione creativa. Dopo la selezione, il nostro dataset comprende 592 query di test, ciascuna con una descrizione condizionata all'istruzione scritta da un essere umano. Queste descrizioni evidenziano fattori specifici dell'istruzione; ad esempio, per un'istruzione che chiede l'accessibilità di un negozio per utenti in sedia a rotelle, la descrizione condizionata all'istruzione descrive rampe/potenziali ostacoli. Queste descrizioni consentono 1) la raccolta di output di riferimento verificati da esseri umani per ogni istanza; e 2) la valutazione automatica di generazioni multimodali candidate utilizzando un LLM basato solo su testo, allineandosi al giudizio umano. Quantifichiamo i gap di qualità tra i modelli e i riferimenti utilizzando sia valutazioni umane che automatiche; ad esempio, il modello che segue le istruzioni con le migliori prestazioni vince contro il riferimento GPT-4 solo nel 27% dei confronti. VisIT-Bench è dinamico e aperto alla partecipazione: i professionisti possono semplicemente inviare la risposta del loro modello sul sito web del progetto; dati, codice e classifica sono disponibili su visit-bench.github.io.
English
We introduce VisIT-Bench (Visual InsTruction Benchmark), a benchmark for
evaluation of instruction-following vision-language models for real-world use.
Our starting point is curating 70 'instruction families' that we envision
instruction tuned vision-language models should be able to address. Extending
beyond evaluations like VQAv2 and COCO, tasks range from basic recognition to
game playing and creative generation. Following curation, our dataset comprises
592 test queries, each with a human-authored instruction-conditioned caption.
These descriptions surface instruction-specific factors, e.g., for an
instruction asking about the accessibility of a storefront for wheelchair
users, the instruction-conditioned caption describes ramps/potential obstacles.
These descriptions enable 1) collecting human-verified reference outputs for
each instance; and 2) automatic evaluation of candidate multimodal generations
using a text-only LLM, aligning with human judgment. We quantify quality gaps
between models and references using both human and automatic evaluations; e.g.,
the top-performing instruction-following model wins against the GPT-4 reference
in just 27% of the comparison. VisIT-Bench is dynamic to participate,
practitioners simply submit their model's response on the project website;
Data, code and leaderboard is available at visit-bench.github.io.