Décodage des objectifs de recherche d'information ouverte à partir des mouvements oculaires lors de la lecture

Decoding Open-Ended Information Seeking Goals from Eye Movements in Reading

May 4, 2025

Auteurs: Cfir Avraham Hadar, Omer Shubi, Yoav Meiri, Yevgeni Berzak

cs.AI

Résumé

Lors de la lecture, nous avons souvent des informations spécifiques qui nous intéressent dans un texte. Par exemple, vous pourriez lire cet article parce que vous êtes curieux à propos des modèles de langage (LLM) pour les mouvements oculaires lors de la lecture, de la conception expérimentale, ou peut-être vous souciez-vous uniquement de la question « mais est-ce que ça fonctionne ? ». Plus largement, dans la vie quotidienne, les personnes abordent les textes avec une multitude d'objectifs spécifiques au texte qui guident leur comportement de lecture. Dans ce travail, nous nous demandons, pour la première fois, si les objectifs de lecture ouverts peuvent être décodés automatiquement à partir des mouvements oculaires lors de la lecture. Pour répondre à cette question, nous introduisons des tâches de classification et de reconstruction des objectifs ainsi que des cadres d'évaluation, et utilisons des données de suivi oculaire à grande échelle pour la lecture en anglais avec des centaines de tâches de recherche d'informations spécifiques au texte. Nous développons et comparons plusieurs modèles de langage multimodaux discriminatifs et génératifs qui combinent les mouvements oculaires et le texte pour la classification et la reconstruction des objectifs. Nos expériences montrent un succès considérable sur les deux tâches, suggérant que les LLM peuvent extraire des informations précieuses sur les objectifs spécifiques au texte des lecteurs à partir des mouvements oculaires.

English

When reading, we often have specific information that interests us in a text. For example, you might be reading this paper because you are curious about LLMs for eye movements in reading, the experimental design, or perhaps you only care about the question ``but does it work?''. More broadly, in daily life, people approach texts with any number of text-specific goals that guide their reading behavior. In this work, we ask, for the first time, whether open-ended reading goals can be automatically decoded from eye movements in reading. To address this question, we introduce goal classification and goal reconstruction tasks and evaluation frameworks, and use large-scale eye tracking for reading data in English with hundreds of text-specific information seeking tasks. We develop and compare several discriminative and generative multimodal LLMs that combine eye movements and text for goal classification and goal reconstruction. Our experiments show considerable success on both tasks, suggesting that LLMs can extract valuable information about the readers' text-specific goals from eye movements.