Видите ли вы, на что я указываю? Ответы на вопросы по эгоцентричному видео на основе жестов
Do You See What I Am Pointing At? Gesture-Based Egocentric Video Question Answering
March 13, 2026
Авторы: Yura Choi, Roy Miles, Rolandos Alexandros Potamias, Ismail Elezi, Jiankang Deng, Stefanos Zafeiriou
cs.AI
Аннотация
Понимание и ответы на вопросы на основе указывающих жестов пользователя являются ключевыми для ассистентов следующего поколения с эгоцентрическим зрением. Однако современные мультимодальные большие языковые модели (MLLM) испытывают трудности с такими задачами из-за нехватки данных, богатых жестами, и их ограниченной способности выводить тонкие намерения указания из эгоцентрического видео. Для решения этой проблемы мы представляем EgoPointVQA — набор данных и эталон для ответов на вопросы в эгоцентрическом контексте с учетом жестов, включающий 4000 синтетических и 400 реальных видео для различных задач дейктического рассуждения. На его основе мы также предлагаем Hand Intent Tokens (HINT) — токены, полученные из 3D-ключевых точек руки с помощью готовой модели реконструкции, которые встраиваются во входные данные модели, чтобы предоставить явный пространственный и временной контекст для интерпретации намерения указания. Мы показываем, что наша модель превосходит другие при различных базовых архитектурах и размерах. В частности, HINT-14B достигает средней точности 68,1% по 6 задачам, что на 6,6% превышает показатель современной модели InternVL3-14B. Для содействия открытым исследованиям мы опубликуем код, модель и набор данных. Страница проекта: https://yuuraa.github.io/papers/choi2026egovqa
English
Understanding and answering questions based on a user's pointing gesture is essential for next-generation egocentric AI assistants. However, current Multimodal Large Language Models (MLLMs) struggle with such tasks due to the lack of gesture-rich data and their limited ability to infer fine-grained pointing intent from egocentric video. To address this, we introduce EgoPointVQA, a dataset and benchmark for gesture-grounded egocentric question answering, comprising 4000 synthetic and 400 real-world videos across multiple deictic reasoning tasks. Built upon it, we further propose Hand Intent Tokens (HINT), which encodes tokens derived from 3D hand keypoints using an off-the-shelf reconstruction model and interleaves them with the model input to provide explicit spatial and temporal context for interpreting pointing intent. We show that our model outperforms others in different backbones and model sizes. In particular, HINT-14B achieves 68.1% accuracy, on average over 6 tasks, surpassing the state-of-the-art, InternVL3-14B, by 6.6%. To further facilitate the open research, we will release the code, model, and dataset. Project page: https://yuuraa.github.io/papers/choi2026egovqa