Contagens de Visualização: Aproveitando o Feedback de Usuários Videntes na Construção de um Conjunto de Dados Alinhado com Pessoas com Deficiência Visual para Descrições de Diagramas

Sightation Counts: Leveraging Sighted User Feedback in Building a BLV-aligned Dataset of Diagram Descriptions

March 17, 2025

Autores: Wan Ju Kang, Eunki Kim, Na Min An, Sangryul Kim, Haemin Choi, Ki Hoon Kwak, James Thorne

cs.AI

Resumo

Frequentemente, as necessidades e habilidades visuais diferem entre o grupo de anotadores e o grupo de usuários finais. Gerar descrições detalhadas de diagramas para usuários cegos ou com baixa visão (BLV) é um domínio particularmente desafiador. Anotadores com visão podem descrever elementos visuais com facilidade, mas estudos existentes mostraram que as descrições geradas diretamente por eles são custosas, propensas a vieses e, em certa medida, insuficientes pelos padrões BLV. Neste estudo, solicitamos a indivíduos com visão que avaliem — em vez de produzir — descrições de diagramas geradas por modelos de visão e linguagem (VLM) que foram orientados com supervisão latente por meio de uma inferência multipasso. As avaliações feitas por pessoas com visão mostraram-se eficazes e úteis para educadores profissionais que são eles próprios BLV e ensinam aprendizes com deficiência visual. Lançamos o Sightation, uma coleção de conjuntos de dados de descrição de diagramas abrangendo 5 mil diagramas e 137 mil amostras para fins de conclusão, preferência, recuperação, resposta a perguntas e treinamento de raciocínio, e demonstramos seu potencial de ajuste fino em diversas tarefas subsequentes.

English

Often, the needs and visual abilities differ between the annotator group and the end user group. Generating detailed diagram descriptions for blind and low-vision (BLV) users is one such challenging domain. Sighted annotators could describe visuals with ease, but existing studies have shown that direct generations by them are costly, bias-prone, and somewhat lacking by BLV standards. In this study, we ask sighted individuals to assess -- rather than produce -- diagram descriptions generated by vision-language models (VLM) that have been guided with latent supervision via a multi-pass inference. The sighted assessments prove effective and useful to professional educators who are themselves BLV and teach visually impaired learners. We release Sightation, a collection of diagram description datasets spanning 5k diagrams and 137k samples for completion, preference, retrieval, question answering, and reasoning training purposes and demonstrate their fine-tuning potential in various downstream tasks.