Entschlüsselung offener Informationssuchziele aus Augenbewegungen beim Lesen

Decoding Open-Ended Information Seeking Goals from Eye Movements in Reading

May 4, 2025

Autoren: Cfir Avraham Hadar, Omer Shubi, Yoav Meiri, Yevgeni Berzak

cs.AI

Zusammenfassung

Beim Lesen haben wir oft spezifische Informationen, die uns in einem Text interessieren. Zum Beispiel könnten Sie dieses Papier lesen, weil Sie neugierig auf LLMs für Augenbewegungen beim Lesen sind, auf das experimentelle Design oder vielleicht interessiert Sie nur die Frage „funktioniert es überhaupt?“. Allgemeiner betrachtet gehen Menschen im Alltag mit einer Vielzahl von textspezifischen Zielen an Texte heran, die ihr Leseverhalten lenken. In dieser Arbeit stellen wir erstmals die Frage, ob offene Leseziele automatisch aus Augenbewegungen beim Lesen decodiert werden können. Um diese Frage zu beantworten, führen wir Aufgaben zur Zielklassifikation und Zielrekonstruktion sowie entsprechende Evaluierungsrahmen ein und verwenden groß angelegte Eye-Tracking-Daten für englische Texte mit hunderten von textspezifischen Informationssuchaufgaben. Wir entwickeln und vergleichen mehrere diskriminative und generative multimodale LLMs, die Augenbewegungen und Text für die Zielklassifikation und Zielrekonstruktion kombinieren. Unsere Experimente zeigen beträchtliche Erfolge bei beiden Aufgaben, was darauf hindeutet, dass LLMs wertvolle Informationen über die textspezifischen Ziele der Leser aus den Augenbewegungen extrahieren können.

English

When reading, we often have specific information that interests us in a text. For example, you might be reading this paper because you are curious about LLMs for eye movements in reading, the experimental design, or perhaps you only care about the question ``but does it work?''. More broadly, in daily life, people approach texts with any number of text-specific goals that guide their reading behavior. In this work, we ask, for the first time, whether open-ended reading goals can be automatically decoded from eye movements in reading. To address this question, we introduce goal classification and goal reconstruction tasks and evaluation frameworks, and use large-scale eye tracking for reading data in English with hundreds of text-specific information seeking tasks. We develop and compare several discriminative and generative multimodal LLMs that combine eye movements and text for goal classification and goal reconstruction. Our experiments show considerable success on both tasks, suggesting that LLMs can extract valuable information about the readers' text-specific goals from eye movements.