Sightation Counts: Gebruikmaken van Feedback van Ziende Gebruikers bij het Bouwen van een BLV-afgestemde Dataset van Diagrambeschrijvingen

Sightation Counts: Leveraging Sighted User Feedback in Building a BLV-aligned Dataset of Diagram Descriptions

March 17, 2025

Auteurs: Wan Ju Kang, Eunki Kim, Na Min An, Sangryul Kim, Haemin Choi, Ki Hoon Kwak, James Thorne

cs.AI

Samenvatting

Vaak verschillen de behoeften en visuele vaardigheden tussen de groep annotators en de eindgebruikersgroep. Het genereren van gedetailleerde diagrambeschrijvingen voor blinde en slechtziende (BLV) gebruikers is een uitdagend domein. Zieners kunnen visuele elementen gemakkelijk beschrijven, maar bestaande studies hebben aangetoond dat directe beschrijvingen door hen kostbaar, gevoelig voor bias en volgens BLV-standaarden enigszins ontoereikend zijn. In deze studie vragen we ziende individuen om diagrambeschrijvingen te beoordelen – in plaats van te produceren – die zijn gegenereerd door vision-language modellen (VLM) die zijn begeleid met latente supervisie via een multi-pass inferentie. De beoordelingen door zienden blijken effectief en nuttig voor professionele docenten die zelf BLV zijn en visueel beperkte leerlingen onderwijzen. We brengen Sightation uit, een verzameling van diagrambeschrijvingsdatasets met 5k diagrammen en 137k samples voor voltooiing, voorkeur, retrievability, vraagbeantwoording en redeneertraining, en demonstreren hun fijnafstemmingspotentieel in verschillende downstream taken.

English

Often, the needs and visual abilities differ between the annotator group and the end user group. Generating detailed diagram descriptions for blind and low-vision (BLV) users is one such challenging domain. Sighted annotators could describe visuals with ease, but existing studies have shown that direct generations by them are costly, bias-prone, and somewhat lacking by BLV standards. In this study, we ask sighted individuals to assess -- rather than produce -- diagram descriptions generated by vision-language models (VLM) that have been guided with latent supervision via a multi-pass inference. The sighted assessments prove effective and useful to professional educators who are themselves BLV and teach visually impaired learners. We release Sightation, a collection of diagram description datasets spanning 5k diagrams and 137k samples for completion, preference, retrieval, question answering, and reasoning training purposes and demonstrate their fine-tuning potential in various downstream tasks.