WildVision：人間の選好を用いた実環境における視覚言語モデルの評価

WildVision: Evaluating Vision-Language Models in the Wild with Human Preferences

June 16, 2024

著者: Yujie Lu, Dongfu Jiang, Wenhu Chen, William Yang Wang, Yejin Choi, Bill Yuchen Lin

cs.AI

要旨

最近の視覚言語モデル（VLM）におけるブレークスルーは、現実世界のマルチモーダル相互作用における人間の選好をベンチマークする必要性を強調しています。このギャップに対処するため、私たちはオンラインプラットフォーム「WildVision-Arena（WV-Arena）」を立ち上げ、VLMを評価するための人間の選好データを収集しました。WV-Arenaの8,000件のユーザー提出から500件の高品質なサンプルを選び、WV-Benchをキュレーションしました。WV-Benchでは、GPT-4を審判として使用し、各VLMをClaude-3-Sonnetと比較し、WV-ArenaのEloスコアとのSpearman相関が0.94を達成しました。これは、MMVet、MMMU、MMStarなどの他のベンチマークを大幅に上回る結果です。 20,000件の現実世界の相互作用の包括的な分析により、トップパフォーマンスのVLMの失敗事例に関する重要な洞察が明らかになりました。例えば、GPT-4Vは、Reka-Flash、Opus、Yi-VL-Plusなどの他の多くのモデルを単純な視覚認識や推論タスクで上回っていますが、微妙な文脈の手がかり、空間推論、視覚的想像力、専門領域の知識において依然として課題に直面しています。さらに、現在のVLMは、意図的に挑発された場合の幻覚や安全性に関する問題を示しています。私たちは、VLM分野の研究をさらに進めるために、チャットデータとフィードバックデータを公開します。

English

Recent breakthroughs in vision-language models (VLMs) emphasize the necessity of benchmarking human preferences in real-world multimodal interactions. To address this gap, we launched WildVision-Arena (WV-Arena), an online platform that collects human preferences to evaluate VLMs. We curated WV-Bench by selecting 500 high-quality samples from 8,000 user submissions in WV-Arena. WV-Bench uses GPT-4 as the judge to compare each VLM with Claude-3-Sonnet, achieving a Spearman correlation of 0.94 with the WV-Arena Elo. This significantly outperforms other benchmarks like MMVet, MMMU, and MMStar. Our comprehensive analysis of 20K real-world interactions reveals important insights into the failure cases of top-performing VLMs. For example, we find that although GPT-4V surpasses many other models like Reka-Flash, Opus, and Yi-VL-Plus in simple visual recognition and reasoning tasks, it still faces challenges with subtle contextual cues, spatial reasoning, visual imagination, and expert domain knowledge. Additionally, current VLMs exhibit issues with hallucinations and safety when intentionally provoked. We are releasing our chat and feedback data to further advance research in the field of VLMs.