VisionArena: 230.000 Echte Gebruikers-VLM-Gesprekken met Voorkeurslabels

VisionArena: 230K Real World User-VLM Conversations with Preference Labels

December 11, 2024

Auteurs: Christopher Chou, Lisa Dunlap, Koki Mashita, Krishna Mandal, Trevor Darrell, Ion Stoica, Joseph E. Gonzalez, Wei-Lin Chiang

cs.AI

Samenvatting

Met de groeiende adoptie en mogelijkheden van visie-taalmodellen (VLM's) is er behoefte aan benchmarks die authentieke gebruiker-VLM-interacties vastleggen. Als reactie hierop creëren we VisionArena, een dataset van 230K gesprekken in de echte wereld tussen gebruikers en VLM's. Verzameld van Chatbot Arena - een open-source platform waar gebruikers met VLM's communiceren en voorkeursstemmen indienen - bestrijkt VisionArena 73K unieke gebruikers, 45 VLM's en 138 talen. Onze dataset bevat drie subsets: VisionArena-Chat, 200k enkele en multi-turn gesprekken tussen een gebruiker en een VLM; VisionArena-Battle, 30K gesprekken waarin twee anonieme VLM's worden vergeleken met voorkeursstemmen van gebruikers; en VisionArena-Bench, een automatische benchmark van 500 diverse gebruikersprompts die de live Chatbot Arena modelranglijsten efficiënt benaderen. Daarnaast belichten we de soorten vragen die door gebruikers worden gesteld, de invloed van de reactiestijl op voorkeur, en gebieden waar modellen vaak tekortschieten. We constateren dat taken zonder specifieke eindpunten zoals bijschriften en humor sterk afhankelijk zijn van de stijl, en dat huidige VLM's moeite hebben met ruimtelijk redeneren en plannen. Tot slot tonen we aan dat het fine-tunen van hetzelfde basismodel op VisionArena-Chat beter presteert dan Llava-Instruct-158K, met een winst van 17 punten op MMMU en een winst van 46 punten op de WildVision benchmark. Dataset op https://huggingface.co/lmarena-ai.

English

With the growing adoption and capabilities of vision-language models (VLMs) comes the need for benchmarks that capture authentic user-VLM interactions. In response, we create VisionArena, a dataset of 230K real-world conversations between users and VLMs. Collected from Chatbot Arena - an open-source platform where users interact with VLMs and submit preference votes - VisionArena spans 73K unique users, 45 VLMs, and 138 languages. Our dataset contains three subsets: VisionArena-Chat, 200k single and multi-turn conversations between a user and a VLM; VisionArena-Battle, 30K conversations comparing two anonymous VLMs with user preference votes; and VisionArena-Bench, an automatic benchmark of 500 diverse user prompts that efficiently approximate the live Chatbot Arena model rankings. Additionally, we highlight the types of question asked by users, the influence of response style on preference, and areas where models often fail. We find open-ended tasks like captioning and humor are highly style-dependent, and current VLMs struggle with spatial reasoning and planning tasks. Lastly, we show finetuning the same base model on VisionArena-Chat outperforms Llava-Instruct-158K, with a 17-point gain on MMMU and a 46-point gain on the WildVision benchmark. Dataset at https://huggingface.co/lmarena-ai