Conteggi Sightation: Sfruttare il Feedback degli Utenti Vedenti per Costruire un Dataset Allineato ai BLV di Descrizioni di Diagrammi

Sightation Counts: Leveraging Sighted User Feedback in Building a BLV-aligned Dataset of Diagram Descriptions

March 17, 2025

Autori: Wan Ju Kang, Eunki Kim, Na Min An, Sangryul Kim, Haemin Choi, Ki Hoon Kwak, James Thorne

cs.AI

Abstract

Spesso, le esigenze e le capacità visive differiscono tra il gruppo di annotatori e quello degli utenti finali. La generazione di descrizioni dettagliate di diagrammi per utenti ciechi e ipovedenti (BLV) rappresenta uno di questi domini impegnativi. Gli annotatori vedenti potrebbero descrivere le immagini con facilità, ma studi esistenti hanno dimostrato che le generazioni dirette da parte loro sono costose, soggette a pregiudizi e in qualche modo carenti secondo gli standard BLV. In questo studio, chiediamo a individui vedenti di valutare — piuttosto che produrre — descrizioni di diagrammi generate da modelli visione-linguaggio (VLM) che sono stati guidati con supervisione latente tramite un'inferenza multi-passaggio. Le valutazioni dei vedenti si dimostrano efficaci e utili per educatori professionisti che sono essi stessi BLV e insegnano a studenti con disabilità visive. Rilasciamo Sightation, una raccolta di dataset di descrizioni di diagrammi che coprono 5k diagrammi e 137k campioni per scopi di completamento, preferenza, recupero, risposta a domande e addestramento al ragionamento, e ne dimostriamo il potenziale di fine-tuning in vari task downstream.

English

Often, the needs and visual abilities differ between the annotator group and the end user group. Generating detailed diagram descriptions for blind and low-vision (BLV) users is one such challenging domain. Sighted annotators could describe visuals with ease, but existing studies have shown that direct generations by them are costly, bias-prone, and somewhat lacking by BLV standards. In this study, we ask sighted individuals to assess -- rather than produce -- diagram descriptions generated by vision-language models (VLM) that have been guided with latent supervision via a multi-pass inference. The sighted assessments prove effective and useful to professional educators who are themselves BLV and teach visually impaired learners. We release Sightation, a collection of diagram description datasets spanning 5k diagrams and 137k samples for completion, preference, retrieval, question answering, and reasoning training purposes and demonstrate their fine-tuning potential in various downstream tasks.