概念を用いた任意環境での視線ターゲット推定

要旨

実世界の画像から人間の視線目標を推定することは、重要かつ困難なタスクである。既存のアプローチは主に、視線分析の対象を特定するために、頭部のバウンディングボックスや人体ポーズなどの明示的な入力を必要とする、堅牢性に欠ける多段階パイプラインを採用している。その結果、検出エラーが連鎖し、失敗につながる可能性がある。さらに、これらの先行研究には、自然言語プロンプトによる視線分析タスクの指定という柔軟性が欠けている。このアプローチは、他の画像分析タスクにおいて利便性と拡張性に大きな利点があることが示されている。これらの限界を克服するために、我々は、視線分析のための新しいエンドツーエンドの概念駆動型パラダイムである、Promptable Gaze Target Estimation（PGE）タスクを導入する。PGE は、視線分析の特定の対象を識別するために、柔軟なユーザーテキストまたは視覚的プロンプト（例：「赤いシャツを着た少年」や「点 [0.52, 0.48] にいる人物」）に視線予測を条件付ける。このアプローチは、対象のローカライゼーションと視線推定を統合し、中間解析段階への固定的な依存を排除する。我々は、プロンプトでアノテーションされた高品質な12万組の画像ペアからなるデータセットおよびベンチマークである Gaze-Co（Gaze Estimation with Concepts）を生成するスケーラブルなデータエンジンを開発する。また、PGE 用に設計された最初のモデルである GazeAnywhere を提案する。GazeAnywhere は、トランスフォーマーベースの検出器を用いて凍結されたエンコーダからの特徴を融合し、対象のローカライゼーション、フレーム内/外の存在、および視線目標ヒートマップ推定を同時に解決する。GazeAnywhere は、複数の PGE ベンチマークで最先端の性能を達成し、困難なドメイン外の実世界の臨床データセットにおいても、この新しい問題に対する強力なベースラインを確立する。GazeAnywhere は github.com/IrohXu/GazeAnywhere でオープンソース化されている。

English

Estimating human gaze targets from images in-the-wild is an important and formidable task. Existing approaches primarily employ brittle, multi-stage pipelines that require explicit inputs, like head bounding boxes and human pose, in order to identify the subject of gaze analysis. As a result, detection errors can cascade and lead to failure. Moreover, these prior works lack the flexibility of specifying the gaze analysis task via natural language prompting, an approach which has been shown to have significant benefits in convenience and scalability for other image analysis tasks. To overcome these limitations, we introduce the Promptable Gaze Target Estimation (PGE) task, a new end-to-end, concept-driven paradigm for gaze analysis. PGE conditions gaze prediction on flexible user text or visual prompts (e.g., "the boy in the red shirt" or "person in point [0.52, 0.48]") to identify a specific subject for gaze analysis. This approach integrates subject localization with gaze estimation, and eliminates the rigid dependency on intermediate analysis stages. We develop a scalable data engine to generate Gaze-Co (Gaze Estimation with Concepts), a dataset and benchmark of 120K high-quality, prompt-annotated image pairs. We also propose GazeAnywhere, the first model designed for PGE. GazeAnywhere uses a transformer-based detector to fuse features from frozen encoders and simultaneously solves subject localization, in/out-of-frame presence, and gaze target heatmap estimation. GazeAnywhere achieves state-of-the-art performance on multiple PGE benchmarks, setting a strong baseline for this new problem even on a difficult out-of-domain, real-world clinical dataset. GazeAnywhere is open-sourced in github.com/IrohXu/GazeAnywhere.