読書中の眼球運動からオープンエンドな情報探索目標をデコードする

Decoding Open-Ended Information Seeking Goals from Eye Movements in Reading

May 4, 2025

著者: Cfir Avraham Hadar, Omer Shubi, Yoav Meiri, Yevgeni Berzak

cs.AI

要旨

読書において、私たちはしばしばテキストの中に特定の興味深い情報を求めます。例えば、この論文を読んでいるのは、読書中の眼球運動に関するLLM（大規模言語モデル）に興味があるからかもしれませんし、実験デザインについて知りたいからかもしれません。あるいは、単に「これは実際に機能するのか？」という疑問に答えが欲しいからかもしれません。より広く見ると、日常生活において、人々はテキスト固有の目標を持って読み進めることが多く、それが読書行動を導いています。本研究では、初めて、開かれた読書目標が読書中の眼球運動から自動的に解読できるかどうかを問います。この問いに答えるため、目標分類と目標再構築のタスクと評価フレームワークを導入し、英語の読書データにおける大規模な眼球追跡データと数百のテキスト固有の情報探索タスクを使用します。眼球運動とテキストを組み合わせた識別的および生成的マルチモーダルLLMを開発し、比較します。私たちの実験は、両タスクにおいてかなりの成功を示しており、LLMが読者のテキスト固有の目標に関する貴重な情報を眼球運動から抽出できることを示唆しています。

English

When reading, we often have specific information that interests us in a text. For example, you might be reading this paper because you are curious about LLMs for eye movements in reading, the experimental design, or perhaps you only care about the question ``but does it work?''. More broadly, in daily life, people approach texts with any number of text-specific goals that guide their reading behavior. In this work, we ask, for the first time, whether open-ended reading goals can be automatically decoded from eye movements in reading. To address this question, we introduce goal classification and goal reconstruction tasks and evaluation frameworks, and use large-scale eye tracking for reading data in English with hundreds of text-specific information seeking tasks. We develop and compare several discriminative and generative multimodal LLMs that combine eye movements and text for goal classification and goal reconstruction. Our experiments show considerable success on both tasks, suggesting that LLMs can extract valuable information about the readers' text-specific goals from eye movements.