К амбулаторному зрению: обучение активному выбору обзора на основе визуальных данных
Toward Ambulatory Vision: Learning Visually-Grounded Active View Selection
December 15, 2025
Авторы: Juil Koo, Daehyeon Choi, Sangwoo Youn, Phillip Y. Lee, Minhyuk Sung
cs.AI
Аннотация
Модели «визуальный язык» (VLMs) превосходно справляются с визуальным ответом на вопросы (VQA), но остаются ограниченными статическим зрением, осуществляя вывод на основе неподвижных изображений. В отличие от них, воплощенные агенты требуют амбулаторного зрения — активного перемещения для получения более информативных ракурсов. Мы представляем задачу визуально обоснованного выбора активного обзора (VG-AVS), которая заключается в выборе наиболее информативной следующей точки обзора, используя только визуальную информацию с текущего изображения, без опоры на память о сцене или внешние знания. Для поддержки этой задачи мы создали синтетический набор данных с автоматически сгенерированными парами «запрос-целевой вид» и промптами «вопрос-ответ». Также мы предлагаем фреймворк, дообучающий предварительно обученные VLMs посредством контролируемого тонкого обучения (SFT) с последующей оптимизацией стратегии на основе обучения с подкреплением. Наш подход демонстрирует высокую производительность в ответах на вопросы на основе выбора точки обзора и robustly обобщается на неизвестные синтетические и реальные сцены. Более того, интеграция нашего обученного фреймворка VG-AVS в существующие системы EQA, основанные на исследовании сцены, повышает точность решения последующих задач ответа на вопросы.
English
Vision Language Models (VLMs) excel at visual question answering (VQA) but remain limited to snapshot vision, reasoning from static images. In contrast, embodied agents require ambulatory vision, actively moving to obtain more informative views. We introduce Visually Grounded Active View Selection (VG-AVS), a task that selects the most informative next viewpoint using only the visual information in the current image, without relying on scene memory or external knowledge. To support this task, we construct a synthetic dataset with automatically generated paired query-target views and question-answer prompts. We also propose a framework that fine-tunes pretrained VLMs through supervised fine-tuning (SFT) followed by RL-based policy optimization. Our approach achieves strong question answering performance based on viewpoint selection and generalizes robustly to unseen synthetic and real scenes. Furthermore, incorporating our learned VG-AVS framework into existing scene-exploration-based EQA systems improves downstream question-answering accuracy.