Hacia una Visión Ambulatoria: Aprendizaje de la Selección Activa de Vistas Basada en Visión

Toward Ambulatory Vision: Learning Visually-Grounded Active View Selection

December 15, 2025

Autores: Juil Koo, Daehyeon Choi, Sangwoo Youn, Phillip Y. Lee, Minhyuk Sung

cs.AI

Resumen

Los Modelos de Lenguaje Visual (VLMs) sobresalen en la respuesta a preguntas visuales (VQA), pero se limitan a una visión instantánea, razonando a partir de imágenes estáticas. En contraste, los agentes corporizados requieren una visión ambulatoria, moviéndose activamente para obtener vistas más informativas. Presentamos la Selección Activa de Vistas con Base Visual (VG-AVS), una tarea que selecciona el siguiente punto de vista más informativo utilizando únicamente la información visual de la imagen actual, sin depender de memoria de escena o conocimiento externo. Para respaldar esta tarea, construimos un conjunto de datos sintético con pares de vistas consulta-objetivo y prompts de pregunta-respuesta generados automáticamente. También proponemos un marco que ajusta VLMs preentrenados mediante ajuste fino supervisado (SFT) seguido de una optimización de políticas basada en RL. Nuestro enfoque logra un sólido rendimiento en respuesta a preguntas basado en la selección de viewpoint y se generaliza robustamente a escenas sintéticas y reales no vistas. Además, la incorporación de nuestro marco VG-AVS aprendido en sistemas existentes de EQA basados en exploración de escenas mejora la precisión en la respuesta a preguntas subsiguientes.

English

Vision Language Models (VLMs) excel at visual question answering (VQA) but remain limited to snapshot vision, reasoning from static images. In contrast, embodied agents require ambulatory vision, actively moving to obtain more informative views. We introduce Visually Grounded Active View Selection (VG-AVS), a task that selects the most informative next viewpoint using only the visual information in the current image, without relying on scene memory or external knowledge. To support this task, we construct a synthetic dataset with automatically generated paired query-target views and question-answer prompts. We also propose a framework that fine-tunes pretrained VLMs through supervised fine-tuning (SFT) followed by RL-based policy optimization. Our approach achieves strong question answering performance based on viewpoint selection and generalizes robustly to unseen synthetic and real scenes. Furthermore, incorporating our learned VG-AVS framework into existing scene-exploration-based EQA systems improves downstream question-answering accuracy.