WildVision: Avaliando Modelos Visão-Linguagem em Cenários Reais com Preferências Humanas
WildVision: Evaluating Vision-Language Models in the Wild with Human Preferences
June 16, 2024
Autores: Yujie Lu, Dongfu Jiang, Wenhu Chen, William Yang Wang, Yejin Choi, Bill Yuchen Lin
cs.AI
Resumo
Os recentes avanços em modelos de visão e linguagem (VLMs) destacam a necessidade de avaliar as preferências humanas em interações multimodais do mundo real. Para abordar essa lacuna, lançamos o WildVision-Arena (WV-Arena), uma plataforma online que coleta preferências humanas para avaliar VLMs. Nós selecionamos o WV-Bench ao escolher 500 amostras de alta qualidade entre 8.000 submissões de usuários no WV-Arena. O WV-Bench utiliza o GPT-4 como juiz para comparar cada VLM com o Claude-3-Sonnet, alcançando uma correlação de Spearman de 0,94 com o Elo do WV-Arena. Isso supera significativamente outros benchmarks como MMVet, MMMU e MMStar.
Nossa análise abrangente de 20 mil interações do mundo real revela insights importantes sobre os casos de falha dos VLMs de melhor desempenho. Por exemplo, descobrimos que, embora o GPT-4V supere muitos outros modelos como Reka-Flash, Opus e Yi-VL-Plus em tarefas simples de reconhecimento visual e raciocínio, ele ainda enfrenta desafios com pistas contextuais sutis, raciocínio espacial, imaginação visual e conhecimento de domínio especializado. Além disso, os VLMs atuais apresentam problemas com alucinações e segurança quando intencionalmente provocados. Estamos disponibilizando nossos dados de chat e feedback para avançar ainda mais a pesquisa no campo dos VLMs.
English
Recent breakthroughs in vision-language models (VLMs) emphasize the necessity
of benchmarking human preferences in real-world multimodal interactions. To
address this gap, we launched WildVision-Arena (WV-Arena), an online platform
that collects human preferences to evaluate VLMs. We curated WV-Bench by
selecting 500 high-quality samples from 8,000 user submissions in WV-Arena.
WV-Bench uses GPT-4 as the judge to compare each VLM with Claude-3-Sonnet,
achieving a Spearman correlation of 0.94 with the WV-Arena Elo. This
significantly outperforms other benchmarks like MMVet, MMMU, and MMStar.
Our comprehensive analysis of 20K real-world interactions reveals important
insights into the failure cases of top-performing VLMs. For example, we find
that although GPT-4V surpasses many other models like Reka-Flash, Opus, and
Yi-VL-Plus in simple visual recognition and reasoning tasks, it still faces
challenges with subtle contextual cues, spatial reasoning, visual imagination,
and expert domain knowledge. Additionally, current VLMs exhibit issues with
hallucinations and safety when intentionally provoked. We are releasing our
chat and feedback data to further advance research in the field of VLMs.