개념을 활용한 어디서나 시선 목표 추정

초록

실제 환경(in-the-wild) 이미지에서 사람의 시선 대상을 추정하는 것은 중요하면서도 난이도가 높은 작업이다. 기존 접근법들은 주로 취약한 다단계 파이프라인을 사용하며, 시선 분석 대상을 식별하기 위해 머리 경계 상자와 인간 자세 같은 명시적 입력을 요구한다. 그 결과, 검출 오류가 연쇄적으로 발생하여 실패로 이어질 수 있다. 게다가 이러한 기존 연구들은 자연어 프롬프팅을 통해 시선 분석 작업을 지정하는 유연성이 부족하다. 자연어 프롬프팅은 다른 이미지 분석 작업에서 편의성과 확장성 측면에서 큰 이점이 있는 것으로 입증된 접근법이다. 이러한 한계를 극복하기 위해, 우리는 시선 분석을 위한 새로운 종단 간(end-to-end) 개념 기반 패러다임인 프롬프트 가능한 시선 대상 추정(Promptable Gaze Target Estimation, PGE) 작업을 제안한다. PGE는 유연한 사용자 텍스트 또는 시각적 프롬프트(예: "빨간 셔츠를 입은 소년" 또는 "[0.52, 0.48] 지점의 사람")를 조건으로 시선 예측을 수행하여, 시선 분석을 위한 특정 대상을 식별한다. 이 접근법은 대상 위치 파악과 시선 추정을 통합하고, 중간 분석 단계에 대한 경직된 의존성을 제거한다. 우리는 확장 가능한 데이터 엔진을 개발하여, 프롬프트 주석이 달린 12만 개의 고품질 이미지 쌍으로 구성된 데이터셋 및 벤치마크인 Gaze-Co(Gaze Estimation with Concepts)를 생성한다. 또한 PGE를 위해 설계된 최초의 모델인 GazeAnywhere를 제안한다. GazeAnywhere는 트랜스포머 기반 검출기를 사용하여 고정된(frozen) 인코더의 특징을 융합하고, 대상 위치 파악, 프레임 내/외 존재 여부, 시선 대상 히트맵 추정을 동시에 해결한다. GazeAnywhere는 여러 PGE 벤치마크에서 최첨단 성능을 달성하며, 어려운 도메인 외(out-of-domain) 실제 임상 데이터셋에서도 이 새로운 문제에 대한 강력한 베이스라인을 제시한다. GazeAnywhere는 github.com/IrohXu/GazeAnywhere에서 오픈소스로 공개된다.

English

Estimating human gaze targets from images in-the-wild is an important and formidable task. Existing approaches primarily employ brittle, multi-stage pipelines that require explicit inputs, like head bounding boxes and human pose, in order to identify the subject of gaze analysis. As a result, detection errors can cascade and lead to failure. Moreover, these prior works lack the flexibility of specifying the gaze analysis task via natural language prompting, an approach which has been shown to have significant benefits in convenience and scalability for other image analysis tasks. To overcome these limitations, we introduce the Promptable Gaze Target Estimation (PGE) task, a new end-to-end, concept-driven paradigm for gaze analysis. PGE conditions gaze prediction on flexible user text or visual prompts (e.g., "the boy in the red shirt" or "person in point [0.52, 0.48]") to identify a specific subject for gaze analysis. This approach integrates subject localization with gaze estimation, and eliminates the rigid dependency on intermediate analysis stages. We develop a scalable data engine to generate Gaze-Co (Gaze Estimation with Concepts), a dataset and benchmark of 120K high-quality, prompt-annotated image pairs. We also propose GazeAnywhere, the first model designed for PGE. GazeAnywhere uses a transformer-based detector to fuse features from frozen encoders and simultaneously solves subject localization, in/out-of-frame presence, and gaze target heatmap estimation. GazeAnywhere achieves state-of-the-art performance on multiple PGE benchmarks, setting a strong baseline for this new problem even on a difficult out-of-domain, real-world clinical dataset. GazeAnywhere is open-sourced in github.com/IrohXu/GazeAnywhere.