Comptages de visualisation : Exploiter les retours des utilisateurs voyants pour construire un ensemble de données aligné sur les besoins des personnes malvoyantes ou non-voyantes (BLV) en matière de descriptions de diagrammes

Sightation Counts: Leveraging Sighted User Feedback in Building a BLV-aligned Dataset of Diagram Descriptions

March 17, 2025

Auteurs: Wan Ju Kang, Eunki Kim, Na Min An, Sangryul Kim, Haemin Choi, Ki Hoon Kwak, James Thorne

cs.AI

Résumé

Souvent, les besoins et les capacités visuelles diffèrent entre le groupe d'annotateurs et le groupe d'utilisateurs finaux. La génération de descriptions détaillées de diagrammes pour les utilisateurs aveugles et malvoyants (BLV) constitue un domaine particulièrement complexe. Les annotateurs voyants peuvent décrire les visuels avec facilité, mais les études existantes montrent que les descriptions qu'ils produisent directement sont coûteuses, sujettes à des biais et quelque peu insuffisantes selon les standards BLV. Dans cette étude, nous demandons à des individus voyants d'évaluer — plutôt que de produire — des descriptions de diagrammes générées par des modèles vision-langage (VLM) guidés par une supervision latente via une inférence multi-passes. Les évaluations des voyants s'avèrent efficaces et utiles pour les éducateurs professionnels eux-mêmes BLV qui enseignent à des apprenants déficients visuels. Nous publions Sightation, une collection de jeux de données de descriptions de diagrammes couvrant 5 000 diagrammes et 137 000 échantillons pour des fins de complétion, de préférence, de recherche, de réponse à des questions et d'entraînement au raisonnement, et nous démontrons leur potentiel de fine-tuning dans diverses tâches en aval.

English

Often, the needs and visual abilities differ between the annotator group and the end user group. Generating detailed diagram descriptions for blind and low-vision (BLV) users is one such challenging domain. Sighted annotators could describe visuals with ease, but existing studies have shown that direct generations by them are costly, bias-prone, and somewhat lacking by BLV standards. In this study, we ask sighted individuals to assess -- rather than produce -- diagram descriptions generated by vision-language models (VLM) that have been guided with latent supervision via a multi-pass inference. The sighted assessments prove effective and useful to professional educators who are themselves BLV and teach visually impaired learners. We release Sightation, a collection of diagram description datasets spanning 5k diagrams and 137k samples for completion, preference, retrieval, question answering, and reasoning training purposes and demonstrate their fine-tuning potential in various downstream tasks.