Расшифровка целей чтения по движениям глаз.

Decoding Reading Goals from Eye Movements

October 28, 2024

Авторы: Omer Shubi, Cfir Avraham Hadar, Yevgeni Berzak

cs.AI

Аннотация

Читатели могут иметь разные цели относительно текста, который они читают. Можно ли декодировать эти цели из образца их глазных движений по тексту? В данной работе мы впервые исследуем возможность декодирования двух типов целей чтения, которые распространены в повседневной жизни: поиск информации и обычное чтение. Используя обширные данные отслеживания глаз, мы применяем к этой задаче широкий спектр передовых моделей для глазных движений и текста, охватывающих различные архитектурные и стратегии представления данных, а также представляем новую модель ансамбля. Мы систематически оцениваем эти модели на трех уровнях обобщения: новый текстовый элемент, новый участник и их комбинация. Мы обнаруживаем, что глазные движения содержат очень ценные сигналы для этой задачи. Мы также проводим анализ ошибок, основанный на предыдущих эмпирических выводах о различиях между обычным чтением и поиском информации, и используем богатые текстовые аннотации. Этот анализ раскрывает ключевые свойства текстовых элементов и глазных движений участников, которые влияют на сложность задачи.

English

Readers can have different goals with respect to the text they are reading. Can these goals be decoded from the pattern of their eye movements over the text? In this work, we examine for the first time whether it is possible to decode two types of reading goals that are common in daily life: information seeking and ordinary reading. Using large scale eye-tracking data, we apply to this task a wide range of state-of-the-art models for eye movements and text that cover different architectural and data representation strategies, and further introduce a new model ensemble. We systematically evaluate these models at three levels of generalization: new textual item, new participant, and the combination of both. We find that eye movements contain highly valuable signals for this task. We further perform an error analysis which builds on prior empirical findings on differences between ordinary reading and information seeking and leverages rich textual annotations. This analysis reveals key properties of textual items and participant eye movements that contribute to the difficulty of the task.