WildVision: Het evalueren van vision-language modellen in de praktijk met menselijke voorkeuren

WildVision: Evaluating Vision-Language Models in the Wild with Human Preferences

June 16, 2024

Auteurs: Yujie Lu, Dongfu Jiang, Wenhu Chen, William Yang Wang, Yejin Choi, Bill Yuchen Lin

cs.AI

Samenvatting

Recente doorbraken in vision-language models (VLMs) benadrukken de noodzaak om menselijke voorkeuren te benchmarken in real-world multimodale interacties. Om deze kloof te dichten, hebben we WildVision-Arena (WV-Arena) gelanceerd, een online platform dat menselijke voorkeuren verzamelt om VLMs te evalueren. We hebben WV-Bench samengesteld door 500 hoogwaardige samples te selecteren uit 8.000 gebruikersinzendingen in WV-Arena. WV-Bench gebruikt GPT-4 als beoordelaar om elke VLM te vergelijken met Claude-3-Sonnet, waarbij een Spearman-correlatie van 0,94 met de WV-Arena Elo wordt bereikt. Dit presteert aanzienlijk beter dan andere benchmarks zoals MMVet, MMMU en MMStar. Onze uitgebreide analyse van 20K real-world interacties onthult belangrijke inzichten in de faalgevallen van toonaangevende VLMs. Zo ontdekken we dat hoewel GPT-4V veel andere modellen zoals Reka-Flash, Opus en Yi-VL-Plus overtreft in eenvoudige visuele herkenning en redeneertaken, het nog steeds uitdagingen ondervindt met subtiele contextuele aanwijzingen, ruimtelijk redeneren, visuele verbeelding en expertdomeinkennis. Daarnaast vertonen huidige VLMs problemen met hallucinaties en veiligheid wanneer ze opzettelijk worden uitgedaagd. We maken onze chat- en feedbackdata beschikbaar om verder onderzoek in het veld van VLMs te bevorderen.

English

Recent breakthroughs in vision-language models (VLMs) emphasize the necessity of benchmarking human preferences in real-world multimodal interactions. To address this gap, we launched WildVision-Arena (WV-Arena), an online platform that collects human preferences to evaluate VLMs. We curated WV-Bench by selecting 500 high-quality samples from 8,000 user submissions in WV-Arena. WV-Bench uses GPT-4 as the judge to compare each VLM with Claude-3-Sonnet, achieving a Spearman correlation of 0.94 with the WV-Arena Elo. This significantly outperforms other benchmarks like MMVet, MMMU, and MMStar. Our comprehensive analysis of 20K real-world interactions reveals important insights into the failure cases of top-performing VLMs. For example, we find that although GPT-4V surpasses many other models like Reka-Flash, Opus, and Yi-VL-Plus in simple visual recognition and reasoning tasks, it still faces challenges with subtle contextual cues, spatial reasoning, visual imagination, and expert domain knowledge. Additionally, current VLMs exhibit issues with hallucinations and safety when intentionally provoked. We are releasing our chat and feedback data to further advance research in the field of VLMs.