Vers une vision ambulatoire : Apprentissage de la sélection active de vues fondée sur la vision

Toward Ambulatory Vision: Learning Visually-Grounded Active View Selection

December 15, 2025

papers.authors: Juil Koo, Daehyeon Choi, Sangwoo Youn, Phillip Y. Lee, Minhyuk Sung

cs.AI

papers.abstract

Les modèles de vision et langage (VLM) excellent dans les tâches de question-réponse visuelle (VQA) mais se limitent à une vision instantanée, raisonnant à partir d'images statiques. En revanche, les agents incarnés nécessitent une vision ambulatoire, se déplaçant activement pour obtenir des points de vue plus informatifs. Nous présentons la sélection active de vue visuellement ancrée (VG-AVS), une tâche qui choisit le point de vue suivant le plus informatif en utilisant uniquement l'information visuelle de l'image actuelle, sans recourir à la mémoire de scène ou à des connaissances externes. Pour soutenir cette tâche, nous construisons un ensemble de données synthétiques avec des paires de vues requête-cible et des invites question-réponse générées automatiquement. Nous proposons également un cadre qui affine des VLM pré-entraînés par un apprentissage supervisé (SFT) suivi d'une optimisation de politique basée sur l'apprentissage par renforcement. Notre approche atteint de solides performances en question-réponse basée sur la sélection de point de vue et généralise robustement à des scènes synthétiques et réelles non vues. De plus, l'intégration de notre cadre VG-AVS appris dans les systèmes existants de EQA basés sur l'exploration de scènes améliore la précision en aval des réponses aux questions.

English

Vision Language Models (VLMs) excel at visual question answering (VQA) but remain limited to snapshot vision, reasoning from static images. In contrast, embodied agents require ambulatory vision, actively moving to obtain more informative views. We introduce Visually Grounded Active View Selection (VG-AVS), a task that selects the most informative next viewpoint using only the visual information in the current image, without relying on scene memory or external knowledge. To support this task, we construct a synthetic dataset with automatically generated paired query-target views and question-answer prompts. We also propose a framework that fine-tunes pretrained VLMs through supervised fine-tuning (SFT) followed by RL-based policy optimization. Our approach achieves strong question answering performance based on viewpoint selection and generalizes robustly to unseen synthetic and real scenes. Furthermore, incorporating our learned VG-AVS framework into existing scene-exploration-based EQA systems improves downstream question-answering accuracy.