VisionArena: 230.000 reale Benutzer-VLM-Gespräche mit Präferenzlabels

VisionArena: 230K Real World User-VLM Conversations with Preference Labels

December 11, 2024

Autoren: Christopher Chou, Lisa Dunlap, Koki Mashita, Krishna Mandal, Trevor Darrell, Ion Stoica, Joseph E. Gonzalez, Wei-Lin Chiang

cs.AI

Zusammenfassung

Mit der zunehmenden Verbreitung und den Fähigkeiten von Bildsprachmodellen (VLMs) entsteht der Bedarf an Benchmarks, die authentische Benutzer-VLM-Interaktionen erfassen. Als Reaktion darauf haben wir VisionArena erstellt, ein Datensatz von 230.000 realen Gesprächen zwischen Benutzern und VLMs. Gesammelt von Chatbot Arena - einer Open-Source-Plattform, auf der Benutzer mit VLMs interagieren und Präferenzstimmen abgeben - umfasst VisionArena 73.000 einzigartige Benutzer, 45 VLMs und 138 Sprachen. Unser Datensatz enthält drei Teilmengen: VisionArena-Chat, 200.000 einzelne und mehrere Gespräche zwischen einem Benutzer und einem VLM; VisionArena-Battle, 30.000 Gespräche, die zwei anonyme VLMs miteinander vergleichen, mit Präferenzstimmen der Benutzer; und VisionArena-Bench, ein automatischer Benchmark von 500 verschiedenen Benutzeranfragen, die die Live-Chatbot-Arena-Modellrankings effizient approximieren. Darüber hinaus heben wir die Arten von Fragen hervor, die von Benutzern gestellt werden, den Einfluss des Antwortstils auf die Präferenz und Bereiche, in denen Modelle oft scheitern. Wir stellen fest, dass offene Aufgaben wie Bildunterschriften und Humor stark vom Stil abhängen und aktuelle VLMs Schwierigkeiten mit räumlichem Denken und Planungsaufgaben haben. Schließlich zeigen wir, dass das Feintuning des gleichen Basismodells auf VisionArena-Chat Llava-Instruct-158K übertrifft, mit einem Gewinn von 17 Punkten bei MMMU und einem Gewinn von 46 Punkten beim WildVision-Benchmark. Datensatz unter https://huggingface.co/lmarena-ai.

English

With the growing adoption and capabilities of vision-language models (VLMs) comes the need for benchmarks that capture authentic user-VLM interactions. In response, we create VisionArena, a dataset of 230K real-world conversations between users and VLMs. Collected from Chatbot Arena - an open-source platform where users interact with VLMs and submit preference votes - VisionArena spans 73K unique users, 45 VLMs, and 138 languages. Our dataset contains three subsets: VisionArena-Chat, 200k single and multi-turn conversations between a user and a VLM; VisionArena-Battle, 30K conversations comparing two anonymous VLMs with user preference votes; and VisionArena-Bench, an automatic benchmark of 500 diverse user prompts that efficiently approximate the live Chatbot Arena model rankings. Additionally, we highlight the types of question asked by users, the influence of response style on preference, and areas where models often fail. We find open-ended tasks like captioning and humor are highly style-dependent, and current VLMs struggle with spatial reasoning and planning tasks. Lastly, we show finetuning the same base model on VisionArena-Chat outperforms Llava-Instruct-158K, with a 17-point gain on MMMU and a 46-point gain on the WildVision benchmark. Dataset at https://huggingface.co/lmarena-ai