Recuentos de Sightation: Aprovechando la Retroalimentación de Usuarios Videntes para Construir un Conjunto de Datos Alineado con BLV de Descripciones de Diagramas

Sightation Counts: Leveraging Sighted User Feedback in Building a BLV-aligned Dataset of Diagram Descriptions

March 17, 2025

Autores: Wan Ju Kang, Eunki Kim, Na Min An, Sangryul Kim, Haemin Choi, Ki Hoon Kwak, James Thorne

cs.AI

Resumen

A menudo, las necesidades y capacidades visuales difieren entre el grupo de anotadores y el grupo de usuarios finales. Generar descripciones detalladas de diagramas para usuarios ciegos o con baja visión (BLV, por sus siglas en inglés) es un dominio particularmente desafiante. Los anotadores videntes podrían describir elementos visuales con facilidad, pero estudios existentes han demostrado que las generaciones directas por parte de ellos son costosas, propensas a sesgos y, en cierta medida, deficientes según los estándares BLV. En este estudio, solicitamos a individuos videntes que evalúen —en lugar de producir— descripciones de diagramas generadas por modelos de visión y lenguaje (VLM) que han sido guiados con supervisión latente mediante una inferencia de múltiples pasos. Las evaluaciones realizadas por los videntes resultan efectivas y útiles para educadores profesionales que son BLV y enseñan a estudiantes con discapacidad visual. Publicamos Sightation, una colección de conjuntos de datos de descripciones de diagramas que abarcan 5k diagramas y 137k muestras para fines de completado, preferencia, recuperación, respuesta a preguntas y entrenamiento en razonamiento, y demostramos su potencial de ajuste fino en diversas tareas posteriores.

English

Often, the needs and visual abilities differ between the annotator group and the end user group. Generating detailed diagram descriptions for blind and low-vision (BLV) users is one such challenging domain. Sighted annotators could describe visuals with ease, but existing studies have shown that direct generations by them are costly, bias-prone, and somewhat lacking by BLV standards. In this study, we ask sighted individuals to assess -- rather than produce -- diagram descriptions generated by vision-language models (VLM) that have been guided with latent supervision via a multi-pass inference. The sighted assessments prove effective and useful to professional educators who are themselves BLV and teach visually impaired learners. We release Sightation, a collection of diagram description datasets spanning 5k diagrams and 137k samples for completion, preference, retrieval, question answering, and reasoning training purposes and demonstrate their fine-tuning potential in various downstream tasks.