VisionArena : 230 000 conversations utilisateur réelles du monde réel avec des étiquettes de préférence VLM

VisionArena: 230K Real World User-VLM Conversations with Preference Labels

December 11, 2024

Auteurs: Christopher Chou, Lisa Dunlap, Koki Mashita, Krishna Mandal, Trevor Darrell, Ion Stoica, Joseph E. Gonzalez, Wei-Lin Chiang

cs.AI

Résumé

Avec l'adoption croissante et les capacités des modèles vision-langage (VLM), il est nécessaire de disposer de références qui captent les interactions authentiques entre l'utilisateur et les VLM. En réponse, nous avons créé VisionArena, un ensemble de données de 230 000 conversations du monde réel entre les utilisateurs et les VLM. Collectées à partir de Chatbot Arena - une plateforme open-source où les utilisateurs interagissent avec les VLM et soumettent des votes de préférence - VisionArena couvre 73 000 utilisateurs uniques, 45 VLM et 138 langues. Notre ensemble de données contient trois sous-ensembles : VisionArena-Chat, 200 000 conversations simples et multi-tours entre un utilisateur et un VLM ; VisionArena-Battle, 30 000 conversations comparant deux VLM anonymes avec des votes de préférence des utilisateurs ; et VisionArena-Bench, une référence automatique de 500 prompts d'utilisateurs divers qui approximent efficacement les classements des modèles en direct de Chatbot Arena. De plus, nous mettons en lumière les types de questions posées par les utilisateurs, l'influence du style de réponse sur les préférences, et les domaines où les modèles échouent souvent. Nous constatons que les tâches ouvertes telles que la légende et l'humour dépendent fortement du style, et que les VLM actuels ont du mal avec le raisonnement spatial et les tâches de planification. Enfin, nous montrons que le fine-tuning du même modèle de base sur VisionArena-Chat surpasse Llava-Instruct-158K, avec un gain de 17 points sur MMMU et un gain de 46 points sur le banc d'essai WildVision. Ensemble de données disponible sur https://huggingface.co/lmarena-ai.

English

With the growing adoption and capabilities of vision-language models (VLMs) comes the need for benchmarks that capture authentic user-VLM interactions. In response, we create VisionArena, a dataset of 230K real-world conversations between users and VLMs. Collected from Chatbot Arena - an open-source platform where users interact with VLMs and submit preference votes - VisionArena spans 73K unique users, 45 VLMs, and 138 languages. Our dataset contains three subsets: VisionArena-Chat, 200k single and multi-turn conversations between a user and a VLM; VisionArena-Battle, 30K conversations comparing two anonymous VLMs with user preference votes; and VisionArena-Bench, an automatic benchmark of 500 diverse user prompts that efficiently approximate the live Chatbot Arena model rankings. Additionally, we highlight the types of question asked by users, the influence of response style on preference, and areas where models often fail. We find open-ended tasks like captioning and humor are highly style-dependent, and current VLMs struggle with spatial reasoning and planning tasks. Lastly, we show finetuning the same base model on VisionArena-Chat outperforms Llava-Instruct-158K, with a 17-point gain on MMMU and a 46-point gain on the WildVision benchmark. Dataset at https://huggingface.co/lmarena-ai