읽기 과정에서의 안구 운동을 통한 개방형 정보 탐색 목표 해독

Decoding Open-Ended Information Seeking Goals from Eye Movements in Reading

May 4, 2025

저자: Cfir Avraham Hadar, Omer Shubi, Yoav Meiri, Yevgeni Berzak

cs.AI

초록

읽기를 할 때, 우리는 종종 텍스트 속에서 특정 정보에 관심을 갖습니다. 예를 들어, 여러분이 이 논문을 읽는 이유는 독서 중의 안구 운동에 대한 대형 언어 모델(LLM)에 대한 호기심, 실험 설계에 대한 관심, 혹은 단순히 "그런데 이게 실제로 작동할까?"라는 질문 때문일 수 있습니다. 더 넓게 보면, 일상 생활에서 사람들은 각기 다른 텍스트별 목표를 가지고 텍스트에 접근하며, 이러한 목표가 그들의 독서 행동을 이끕니다. 본 연구에서는, 독서 중의 안구 운동으로부터 개방형 독서 목표를 자동으로 해독할 수 있는지에 대해 처음으로 질문합니다. 이 질문에 답하기 위해, 우리는 목표 분류 및 목표 재구성 작업과 평가 프레임워크를 소개하고, 수백 가지의 텍스트별 정보 탐색 작업이 포함된 영어 독서 데이터에 대한 대규모 안구 추적 데이터를 사용합니다. 우리는 안구 운동과 텍스트를 결합하여 목표 분류 및 목표 재구성을 수행하는 여러 가지 판별적 및 생성적 다중 모드 LLM을 개발하고 비교합니다. 우리의 실험 결과는 두 작업 모두에서 상당한 성공을 보여주며, LLM이 독자들의 텍스트별 목표에 대한 유용한 정보를 안구 운동으로부터 추출할 수 있음을 시사합니다.

English

When reading, we often have specific information that interests us in a text. For example, you might be reading this paper because you are curious about LLMs for eye movements in reading, the experimental design, or perhaps you only care about the question ``but does it work?''. More broadly, in daily life, people approach texts with any number of text-specific goals that guide their reading behavior. In this work, we ask, for the first time, whether open-ended reading goals can be automatically decoded from eye movements in reading. To address this question, we introduce goal classification and goal reconstruction tasks and evaluation frameworks, and use large-scale eye tracking for reading data in English with hundreds of text-specific information seeking tasks. We develop and compare several discriminative and generative multimodal LLMs that combine eye movements and text for goal classification and goal reconstruction. Our experiments show considerable success on both tasks, suggesting that LLMs can extract valuable information about the readers' text-specific goals from eye movements.