WildVision: Valutazione dei Modelli Visione-Linguaggio in Contesti Reali con Preferenze Umane

WildVision: Evaluating Vision-Language Models in the Wild with Human Preferences

June 16, 2024

Autori: Yujie Lu, Dongfu Jiang, Wenhu Chen, William Yang Wang, Yejin Choi, Bill Yuchen Lin

cs.AI

Abstract

I recenti progressi nei modelli visione-linguaggio (VLMs) sottolineano la necessità di valutare le preferenze umane nelle interazioni multimodali del mondo reale. Per colmare questa lacuna, abbiamo lanciato WildVision-Arena (WV-Arena), una piattaforma online che raccoglie le preferenze umane per valutare i VLMs. Abbiamo curato WV-Bench selezionando 500 campioni di alta qualità tra 8.000 invii degli utenti su WV-Arena. WV-Bench utilizza GPT-4 come giudice per confrontare ogni VLM con Claude-3-Sonnet, raggiungendo una correlazione di Spearman di 0,94 con l'Elo di WV-Arena. Questo risultato supera significativamente altri benchmark come MMVet, MMMU e MMStar. La nostra analisi completa di 20.000 interazioni del mondo reale rivela importanti intuizioni sui casi di fallimento dei VLMs più performanti. Ad esempio, scopriamo che, sebbene GPT-4V superi molti altri modelli come Reka-Flash, Opus e Yi-VL-Plus in semplici compiti di riconoscimento visivo e ragionamento, incontra ancora difficoltà con indizi contestuali sottili, ragionamento spaziale, immaginazione visiva e conoscenza di dominio specialistico. Inoltre, gli attuali VLMs mostrano problemi di allucinazioni e sicurezza quando vengono intenzionalmente provocati. Stiamo rilasciando i nostri dati di chat e feedback per favorire ulteriori progressi nella ricerca nel campo dei VLMs.

English

Recent breakthroughs in vision-language models (VLMs) emphasize the necessity of benchmarking human preferences in real-world multimodal interactions. To address this gap, we launched WildVision-Arena (WV-Arena), an online platform that collects human preferences to evaluate VLMs. We curated WV-Bench by selecting 500 high-quality samples from 8,000 user submissions in WV-Arena. WV-Bench uses GPT-4 as the judge to compare each VLM with Claude-3-Sonnet, achieving a Spearman correlation of 0.94 with the WV-Arena Elo. This significantly outperforms other benchmarks like MMVet, MMMU, and MMStar. Our comprehensive analysis of 20K real-world interactions reveals important insights into the failure cases of top-performing VLMs. For example, we find that although GPT-4V surpasses many other models like Reka-Flash, Opus, and Yi-VL-Plus in simple visual recognition and reasoning tasks, it still faces challenges with subtle contextual cues, spatial reasoning, visual imagination, and expert domain knowledge. Additionally, current VLMs exhibit issues with hallucinations and safety when intentionally provoked. We are releasing our chat and feedback data to further advance research in the field of VLMs.