眼の動きから読解目標を解読する

Decoding Reading Goals from Eye Movements

October 28, 2024

著者: Omer Shubi, Cfir Avraham Hadar, Yevgeni Berzak

cs.AI

要旨

読者は、読んでいるテキストに対して異なる目標を持つことがあります。 彼らの目の動きのパターンから、これらの目標を解読することは可能でしょうか？ 本研究では、日常生活で一般的な情報探索と通常の読書という2種類の読書目標を解読できるかどうかを初めて検証します。 大規模なアイ・トラッキングデータを用いて、目の動きとテキストに関する最先端のモデルを幅広く適用し、さらに新しいモデルアンサンブルを導入します。 これらのモデルは、異なるアーキテクチャとデータ表現戦略をカバーしており、一連の一般化レベルでこれらのモデルを体系的に評価します：新しいテキストアイテム、新しい参加者、およびその両方の組み合わせ。 私たちは、このタスクに対して目の動きが非常に有益なシグナルを含んでいることを発見します。 さらに、通常の読書と情報探索の違いに関する以前の経験的な知見に基づくエラー分析を実施し、豊富なテキストアノテーションを活用します。 この分析により、タスクの難しさに寄与するテキストアイテムと参加者の目の動きの主要な特性が明らかになります。

English

Readers can have different goals with respect to the text they are reading. Can these goals be decoded from the pattern of their eye movements over the text? In this work, we examine for the first time whether it is possible to decode two types of reading goals that are common in daily life: information seeking and ordinary reading. Using large scale eye-tracking data, we apply to this task a wide range of state-of-the-art models for eye movements and text that cover different architectural and data representation strategies, and further introduce a new model ensemble. We systematically evaluate these models at three levels of generalization: new textual item, new participant, and the combination of both. We find that eye movements contain highly valuable signals for this task. We further perform an error analysis which builds on prior empirical findings on differences between ordinary reading and information seeking and leverages rich textual annotations. This analysis reveals key properties of textual items and participant eye movements that contribute to the difficulty of the task.