VisionArena: 230 тыс. разговоров пользователей в реальном мире с метками предпочтений VLM

VisionArena: 230K Real World User-VLM Conversations with Preference Labels

December 11, 2024

Авторы: Christopher Chou, Lisa Dunlap, Koki Mashita, Krishna Mandal, Trevor Darrell, Ion Stoica, Joseph E. Gonzalez, Wei-Lin Chiang

cs.AI

Аннотация

С растущим принятием и возможностями моделей видео-языкового взаимодействия (VLM) возникает необходимость в бенчмарках, отражающих аутентичные взаимодействия пользователей с VLM. В ответ на это мы создали VisionArena - набор данных из 230 тыс. реальных разговоров между пользователями и VLM. Собранные с платформы Chatbot Arena - открытой платформы, где пользователи взаимодействуют с VLM и отправляют голоса за предпочтения - VisionArena охватывает 73 тыс. уникальных пользователей, 45 VLM и 138 языков. Наш набор данных содержит три подмножества: VisionArena-Chat, 200 тыс. одиночных и многоходовых разговоров между пользователем и VLM; VisionArena-Battle, 30 тыс. разговоров, сравнивающих два анонимных VLM с голосами пользователей за предпочтения; и VisionArena-Bench, автоматический бенчмарк из 500 разнообразных запросов пользователей, которые эффективно приближают рейтинги моделей в реальном времени на платформе Chatbot Arena. Кроме того, мы выделяем типы вопросов, задаваемых пользователями, влияние стиля ответа на предпочтения и области, в которых модели часто терпят неудачу. Мы обнаружили, что задачи с открытым окончанием, такие как подписывание и юмор, сильно зависят от стиля, и текущие VLM часто испытывают трудности с пространственным мышлением и планированием. Наконец, мы показываем, что донастройка одной и той же базовой модели на VisionArena-Chat превосходит Llava-Instruct-158K, с приростом на 17 пунктов в MMMU и на 46 пунктов в бенчмарке WildVision. Набор данных по ссылке https://huggingface.co/lmarena-ai

English

With the growing adoption and capabilities of vision-language models (VLMs) comes the need for benchmarks that capture authentic user-VLM interactions. In response, we create VisionArena, a dataset of 230K real-world conversations between users and VLMs. Collected from Chatbot Arena - an open-source platform where users interact with VLMs and submit preference votes - VisionArena spans 73K unique users, 45 VLMs, and 138 languages. Our dataset contains three subsets: VisionArena-Chat, 200k single and multi-turn conversations between a user and a VLM; VisionArena-Battle, 30K conversations comparing two anonymous VLMs with user preference votes; and VisionArena-Bench, an automatic benchmark of 500 diverse user prompts that efficiently approximate the live Chatbot Arena model rankings. Additionally, we highlight the types of question asked by users, the influence of response style on preference, and areas where models often fail. We find open-ended tasks like captioning and humor are highly style-dependent, and current VLMs struggle with spatial reasoning and planning tasks. Lastly, we show finetuning the same base model on VisionArena-Chat outperforms Llava-Instruct-158K, with a 17-point gain on MMMU and a 46-point gain on the WildVision benchmark. Dataset at https://huggingface.co/lmarena-ai