Descifrando Objetivos de Lectura a partir de Movimientos Oculares

Decoding Reading Goals from Eye Movements

October 28, 2024

Autores: Omer Shubi, Cfir Avraham Hadar, Yevgeni Berzak

cs.AI

Resumen

Los lectores pueden tener diferentes objetivos con respecto al texto que están leyendo. ¿Se pueden descifrar estos objetivos a partir del patrón de sus movimientos oculares sobre el texto? En este trabajo, examinamos por primera vez si es posible descodificar dos tipos de objetivos de lectura comunes en la vida diaria: la búsqueda de información y la lectura ordinaria. Utilizando datos de seguimiento ocular a gran escala, aplicamos a esta tarea una amplia gama de modelos de vanguardia para movimientos oculares y texto que abarcan diferentes estrategias arquitectónicas y de representación de datos, e introducimos además un nuevo conjunto de modelos. Evaluamos sistemáticamente estos modelos en tres niveles de generalización: nuevo elemento textual, nuevo participante y la combinación de ambos. Descubrimos que los movimientos oculares contienen señales altamente valiosas para esta tarea. Realizamos además un análisis de errores que se basa en hallazgos empíricos previos sobre las diferencias entre la lectura ordinaria y la búsqueda de información, y aprovecha las ricas anotaciones textuales. Este análisis revela propiedades clave de los elementos textuales y los movimientos oculares de los participantes que contribuyen a la dificultad de la tarea.

English

Readers can have different goals with respect to the text they are reading. Can these goals be decoded from the pattern of their eye movements over the text? In this work, we examine for the first time whether it is possible to decode two types of reading goals that are common in daily life: information seeking and ordinary reading. Using large scale eye-tracking data, we apply to this task a wide range of state-of-the-art models for eye movements and text that cover different architectural and data representation strategies, and further introduce a new model ensemble. We systematically evaluate these models at three levels of generalization: new textual item, new participant, and the combination of both. We find that eye movements contain highly valuable signals for this task. We further perform an error analysis which builds on prior empirical findings on differences between ordinary reading and information seeking and leverages rich textual annotations. This analysis reveals key properties of textual items and participant eye movements that contribute to the difficulty of the task.