WildVision : Évaluation des modèles vision-langage dans des conditions réelles avec les préférences humaines

WildVision: Evaluating Vision-Language Models in the Wild with Human Preferences

June 16, 2024

Auteurs: Yujie Lu, Dongfu Jiang, Wenhu Chen, William Yang Wang, Yejin Choi, Bill Yuchen Lin

cs.AI

Résumé

Les récentes avancées dans les modèles vision-langage (VLMs) soulignent la nécessité de mesurer les préférences humaines dans les interactions multimodales du monde réel. Pour combler cette lacune, nous avons lancé WildVision-Arena (WV-Arena), une plateforme en ligne qui collecte les préférences humaines pour évaluer les VLMs. Nous avons constitué WV-Bench en sélectionnant 500 échantillons de haute qualité parmi 8 000 soumissions d'utilisateurs sur WV-Arena. WV-Bench utilise GPT-4 comme juge pour comparer chaque VLM à Claude-3-Sonnet, obtenant une corrélation de Spearman de 0,94 avec l'Elo de WV-Arena. Cela surpasse significativement d'autres benchmarks comme MMVet, MMMU et MMStar. Notre analyse approfondie de 20 000 interactions réelles révèle des insights importants sur les cas d'échec des VLMs les plus performants. Par exemple, nous constatons que bien que GPT-4V surpasse de nombreux autres modèles comme Reka-Flash, Opus et Yi-VL-Plus dans des tâches simples de reconnaissance visuelle et de raisonnement, il rencontre encore des difficultés avec les indices contextuels subtils, le raisonnement spatial, l'imagination visuelle et les connaissances de domaine expertes. De plus, les VLMs actuels présentent des problèmes d'hallucinations et de sécurité lorsqu'ils sont intentionnellement provoqués. Nous publions nos données de chat et de feedback pour faire progresser la recherche dans le domaine des VLMs.

English

Recent breakthroughs in vision-language models (VLMs) emphasize the necessity of benchmarking human preferences in real-world multimodal interactions. To address this gap, we launched WildVision-Arena (WV-Arena), an online platform that collects human preferences to evaluate VLMs. We curated WV-Bench by selecting 500 high-quality samples from 8,000 user submissions in WV-Arena. WV-Bench uses GPT-4 as the judge to compare each VLM with Claude-3-Sonnet, achieving a Spearman correlation of 0.94 with the WV-Arena Elo. This significantly outperforms other benchmarks like MMVet, MMMU, and MMStar. Our comprehensive analysis of 20K real-world interactions reveals important insights into the failure cases of top-performing VLMs. For example, we find that although GPT-4V surpasses many other models like Reka-Flash, Opus, and Yi-VL-Plus in simple visual recognition and reasoning tasks, it still faces challenges with subtle contextual cues, spatial reasoning, visual imagination, and expert domain knowledge. Additionally, current VLMs exhibit issues with hallucinations and safety when intentionally provoked. We are releasing our chat and feedback data to further advance research in the field of VLMs.