Decodificación de Objetivos de Búsqueda de Información Abierta a partir de Movimientos Oculares durante la Lectura

Decoding Open-Ended Information Seeking Goals from Eye Movements in Reading

May 4, 2025

Autores: Cfir Avraham Hadar, Omer Shubi, Yoav Meiri, Yevgeni Berzak

cs.AI

Resumen

Al leer, a menudo tenemos información específica que nos interesa en un texto. Por ejemplo, podrías estar leyendo este artículo porque te interesan los LLM para los movimientos oculares en la lectura, el diseño experimental, o quizás solo te importa la pregunta: "¿pero funciona?". En términos más generales, en la vida cotidiana, las personas abordan los textos con cualquier cantidad de objetivos específicos que guían su comportamiento de lectura. En este trabajo, nos preguntamos, por primera vez, si los objetivos de lectura abiertos pueden ser decodificados automáticamente a partir de los movimientos oculares durante la lectura. Para abordar esta pregunta, introducimos tareas de clasificación y reconstrucción de objetivos, junto con marcos de evaluación, y utilizamos datos a gran escala de seguimiento ocular en lectura en inglés con cientos de tareas específicas de búsqueda de información. Desarrollamos y comparamos varios LLM multimodales discriminativos y generativos que combinan movimientos oculares y texto para la clasificación y reconstrucción de objetivos. Nuestros experimentos muestran un éxito considerable en ambas tareas, sugiriendo que los LLM pueden extraer información valiosa sobre los objetivos específicos de los lectores a partir de sus movimientos oculares.

English

When reading, we often have specific information that interests us in a text. For example, you might be reading this paper because you are curious about LLMs for eye movements in reading, the experimental design, or perhaps you only care about the question ``but does it work?''. More broadly, in daily life, people approach texts with any number of text-specific goals that guide their reading behavior. In this work, we ask, for the first time, whether open-ended reading goals can be automatically decoded from eye movements in reading. To address this question, we introduce goal classification and goal reconstruction tasks and evaluation frameworks, and use large-scale eye tracking for reading data in English with hundreds of text-specific information seeking tasks. We develop and compare several discriminative and generative multimodal LLMs that combine eye movements and text for goal classification and goal reconstruction. Our experiments show considerable success on both tasks, suggesting that LLMs can extract valuable information about the readers' text-specific goals from eye movements.