WildVision: Оценка моделей зрения-языка в естественной среде с участием предпочтений человека

WildVision: Evaluating Vision-Language Models in the Wild with Human Preferences

June 16, 2024

Авторы: Yujie Lu, Dongfu Jiang, Wenhu Chen, William Yang Wang, Yejin Choi, Bill Yuchen Lin

cs.AI

Аннотация

Недавние достижения в моделях видео-языка (VLM) подчеркивают необходимость оценки человеческих предпочтений в мультимодальных взаимодействиях реального мира. Для решения этой проблемы мы запустили WildVision-Arena (WV-Arena), онлайн-платформу, собирающую человеческие предпочтения для оценки VLM. Мы создали WV-Bench, отобрав 500 высококачественных образцов из 8 000 пользовательских представлений в WV-Arena. WV-Bench использует GPT-4 в качестве судьи для сравнения каждой VLM с Claude-3-Sonnet, достигая коэффициента корреляции Спирмена 0,94 с WV-Arena Elo. Это значительно превосходит другие бенчмарки, такие как MMVet, MMMU и MMStar. Наш анализ 20 тыс. взаимодействий в реальном мире раскрывает важные идеи о случаях неудач у лучших VLM. Например, мы обнаружили, что хотя GPT-4V превосходит многие другие модели, такие как Reka-Flash, Opus и Yi-VL-Plus в простых задачах визуального распознавания и рассуждения, он все равно сталкивается с проблемами восприятия тонких контекстуальных намеков, пространственного рассуждения, визуального воображения и экспертных знаний в области. Кроме того, текущие VLM показывают проблемы с галлюцинациями и безопасностью при умышленном провоцировании. Мы публикуем наши данные чата и обратной связи для дальнейшего продвижения исследований в области VLM.

English

Recent breakthroughs in vision-language models (VLMs) emphasize the necessity of benchmarking human preferences in real-world multimodal interactions. To address this gap, we launched WildVision-Arena (WV-Arena), an online platform that collects human preferences to evaluate VLMs. We curated WV-Bench by selecting 500 high-quality samples from 8,000 user submissions in WV-Arena. WV-Bench uses GPT-4 as the judge to compare each VLM with Claude-3-Sonnet, achieving a Spearman correlation of 0.94 with the WV-Arena Elo. This significantly outperforms other benchmarks like MMVet, MMMU, and MMStar. Our comprehensive analysis of 20K real-world interactions reveals important insights into the failure cases of top-performing VLMs. For example, we find that although GPT-4V surpasses many other models like Reka-Flash, Opus, and Yi-VL-Plus in simple visual recognition and reasoning tasks, it still faces challenges with subtle contextual cues, spatial reasoning, visual imagination, and expert domain knowledge. Additionally, current VLMs exhibit issues with hallucinations and safety when intentionally provoked. We are releasing our chat and feedback data to further advance research in the field of VLMs.