WildVision: Evaluierung von Vision-Language-Modellen in freier Wildbahn mit menschlichen Präferenzen

WildVision: Evaluating Vision-Language Models in the Wild with Human Preferences

June 16, 2024

Autoren: Yujie Lu, Dongfu Jiang, Wenhu Chen, William Yang Wang, Yejin Choi, Bill Yuchen Lin

cs.AI

Zusammenfassung

Aktuelle Durchbrüche in Vision-Language-Modellen (VLMs) betonen die Notwendigkeit, menschliche Präferenzen in multimodalen Interaktionen in der realen Welt zu bewerten. Um diese Lücke zu schließen, haben wir WildVision-Arena (WV-Arena) ins Leben gerufen, eine Online-Plattform, die menschliche Präferenzen sammelt, um VLMs zu bewerten. Wir haben WV-Bench kuratiert, indem wir 500 hochwertige Beispiele aus 8.000 Benutzereinreichungen in WV-Arena ausgewählt haben. WV-Bench verwendet GPT-4 als Richter, um jedes VLM mit Claude-3-Sonnet zu vergleichen und erreicht eine Spearman-Korrelation von 0,94 mit dem WV-Arena Elo. Dies übertrifft signifikant andere Benchmarks wie MMVet, MMMU und MMStar. Unsere umfassende Analyse von 20.000 realen Interaktionen liefert wichtige Erkenntnisse über die Fehlerfälle der leistungsstarken VLMs. Zum Beispiel stellen wir fest, dass obwohl GPT-4V viele andere Modelle wie Reka-Flash, Opus und Yi-VL-Plus in einfachen visuellen Erkennungs- und Denkaufgaben übertrifft, es dennoch Schwierigkeiten mit subtilen Kontexthinweisen, räumlichem Denken, visueller Vorstellungskraft und Expertenwissen aufweist. Darüber hinaus zeigen aktuelle VLMs Probleme mit Halluzinationen und Sicherheit, wenn sie absichtlich provoziert werden. Wir veröffentlichen unsere Chat- und Feedback-Daten, um die Forschung im Bereich der VLMs weiter voranzutreiben.

English

Recent breakthroughs in vision-language models (VLMs) emphasize the necessity of benchmarking human preferences in real-world multimodal interactions. To address this gap, we launched WildVision-Arena (WV-Arena), an online platform that collects human preferences to evaluate VLMs. We curated WV-Bench by selecting 500 high-quality samples from 8,000 user submissions in WV-Arena. WV-Bench uses GPT-4 as the judge to compare each VLM with Claude-3-Sonnet, achieving a Spearman correlation of 0.94 with the WV-Arena Elo. This significantly outperforms other benchmarks like MMVet, MMMU, and MMStar. Our comprehensive analysis of 20K real-world interactions reveals important insights into the failure cases of top-performing VLMs. For example, we find that although GPT-4V surpasses many other models like Reka-Flash, Opus, and Yi-VL-Plus in simple visual recognition and reasoning tasks, it still faces challenges with subtle contextual cues, spatial reasoning, visual imagination, and expert domain knowledge. Additionally, current VLMs exhibit issues with hallucinations and safety when intentionally provoked. We are releasing our chat and feedback data to further advance research in the field of VLMs.