Descodificação de Metas de Leitura a partir de Movimentos Oculares

Decoding Reading Goals from Eye Movements

October 28, 2024

Autores: Omer Shubi, Cfir Avraham Hadar, Yevgeni Berzak

cs.AI

Resumo

Os leitores podem ter diferentes objetivos em relação ao texto que estão lendo. Esses objetivos podem ser decodificados a partir do padrão de movimentos oculares sobre o texto? Neste trabalho, examinamos pela primeira vez se é possível decodificar dois tipos de objetivos de leitura comuns na vida diária: busca por informação e leitura comum. Utilizando dados de rastreamento ocular em grande escala, aplicamos a esta tarefa uma ampla gama de modelos de ponta para movimentos oculares e texto que abrangem diferentes estratégias arquiteturais e de representação de dados, e introduzimos ainda um novo conjunto de modelos. Avaliamos sistematicamente esses modelos em três níveis de generalização: novo item textual, novo participante e a combinação de ambos. Descobrimos que os movimentos oculares contêm sinais altamente valiosos para esta tarefa. Realizamos ainda uma análise de erro que se baseia em descobertas empíricas anteriores sobre diferenças entre leitura comum e busca por informação e aproveita ricas anotações textuais. Essa análise revela propriedades-chave dos itens textuais e dos movimentos oculares dos participantes que contribuem para a dificuldade da tarefa.

English

Readers can have different goals with respect to the text they are reading. Can these goals be decoded from the pattern of their eye movements over the text? In this work, we examine for the first time whether it is possible to decode two types of reading goals that are common in daily life: information seeking and ordinary reading. Using large scale eye-tracking data, we apply to this task a wide range of state-of-the-art models for eye movements and text that cover different architectural and data representation strategies, and further introduce a new model ensemble. We systematically evaluate these models at three levels of generalization: new textual item, new participant, and the combination of both. We find that eye movements contain highly valuable signals for this task. We further perform an error analysis which builds on prior empirical findings on differences between ordinary reading and information seeking and leverages rich textual annotations. This analysis reveals key properties of textual items and participant eye movements that contribute to the difficulty of the task.