VisionArena: 230,000 Conversaciones Usuario-Máquina del Mundo Real con Etiquetas de Preferencia

VisionArena: 230K Real World User-VLM Conversations with Preference Labels

December 11, 2024

Autores: Christopher Chou, Lisa Dunlap, Koki Mashita, Krishna Mandal, Trevor Darrell, Ion Stoica, Joseph E. Gonzalez, Wei-Lin Chiang

cs.AI

Resumen

Con la creciente adopción y capacidades de los modelos visión-lenguaje (VLMs) surge la necesidad de referencias que capturen interacciones auténticas entre usuarios y VLMs. En respuesta, creamos VisionArena, un conjunto de datos de 230K conversaciones del mundo real entre usuarios y VLMs. Recopilado de Chatbot Arena, una plataforma de código abierto donde los usuarios interactúan con VLMs y envían votos de preferencia, VisionArena abarca 73K usuarios únicos, 45 VLMs y 138 idiomas. Nuestro conjunto de datos contiene tres subconjuntos: VisionArena-Chat, 200k conversaciones de un solo y múltiples turnos entre un usuario y un VLM; VisionArena-Battle, 30K conversaciones que comparan dos VLMs anónimos con votos de preferencia de usuarios; y VisionArena-Bench, una referencia automática de 500 estímulos diversos de usuarios que aproximan eficientemente las clasificaciones del modelo en vivo de Chatbot Arena. Además, destacamos los tipos de preguntas realizadas por los usuarios, la influencia del estilo de respuesta en la preferencia y las áreas donde los modelos a menudo fallan. Encontramos que las tareas abiertas como la descripción y el humor dependen en gran medida del estilo, y los VLMs actuales tienen dificultades con el razonamiento espacial y las tareas de planificación. Por último, demostramos que el ajuste fino del mismo modelo base en VisionArena-Chat supera a Llava-Instruct-158K, con una mejora de 17 puntos en MMMU y 46 puntos en el referente WildVision. Conjunto de datos en https://huggingface.co/lmarena-ai

English

With the growing adoption and capabilities of vision-language models (VLMs) comes the need for benchmarks that capture authentic user-VLM interactions. In response, we create VisionArena, a dataset of 230K real-world conversations between users and VLMs. Collected from Chatbot Arena - an open-source platform where users interact with VLMs and submit preference votes - VisionArena spans 73K unique users, 45 VLMs, and 138 languages. Our dataset contains three subsets: VisionArena-Chat, 200k single and multi-turn conversations between a user and a VLM; VisionArena-Battle, 30K conversations comparing two anonymous VLMs with user preference votes; and VisionArena-Bench, an automatic benchmark of 500 diverse user prompts that efficiently approximate the live Chatbot Arena model rankings. Additionally, we highlight the types of question asked by users, the influence of response style on preference, and areas where models often fail. We find open-ended tasks like captioning and humor are highly style-dependent, and current VLMs struggle with spatial reasoning and planning tasks. Lastly, we show finetuning the same base model on VisionArena-Chat outperforms Llava-Instruct-158K, with a 17-point gain on MMMU and a 46-point gain on the WildVision benchmark. Dataset at https://huggingface.co/lmarena-ai