Verso una visione ambulatoria: apprendimento della selezione attiva della vista basata su riferimenti visivi

Toward Ambulatory Vision: Learning Visually-Grounded Active View Selection

December 15, 2025

Autori: Juil Koo, Daehyeon Choi, Sangwoo Youn, Phillip Y. Lee, Minhyuk Sung

cs.AI

Abstract

I modelli linguistici visivi (VLMs) eccellono nel compito di risposta a domande visive (VQA) ma rimangono limitati a una visione istantanea, ragionando a partire da immagini statiche. Al contrario, gli agenti embodied richiedono una visione ambulatoria, muovendosi attivamente per ottenere visuali più informative. Introduciamo la Selezione Attiva della Visuale con Base Visiva (VG-AVS), un compito che seleziona il punto di osservazione successivo più informativo utilizzando esclusivamente le informazioni visive nell'immagine corrente, senza fare affidamento su memoria della scena o conoscenze esterne. Per supportare questo compito, costruiamo un dataset sintetico con coppie di visuali query-target e prompt domanda-risposta generate automaticamente. Proponiamo inoltre un framework che effettua il fine-tuning di VLMs pre-addestrati attraverso un fine-tuning supervisionato (SFT) seguito da un'ottimizzazione della policy basata su RL. Il nostro approccio raggiunge solide prestazioni nella risposta a domande basate sulla selezione del punto di vista e si generalizza in modo robusto a scene sintetiche e reali non viste. Inoltre, l'integrazione del nostro framework VG-AVS appreso nei sistemi esistenti di EQA basati sull'esplorazione della scena migliora l'accuratezza nella risposta a domande a valle.

English

Vision Language Models (VLMs) excel at visual question answering (VQA) but remain limited to snapshot vision, reasoning from static images. In contrast, embodied agents require ambulatory vision, actively moving to obtain more informative views. We introduce Visually Grounded Active View Selection (VG-AVS), a task that selects the most informative next viewpoint using only the visual information in the current image, without relying on scene memory or external knowledge. To support this task, we construct a synthetic dataset with automatically generated paired query-target views and question-answer prompts. We also propose a framework that fine-tunes pretrained VLMs through supervised fine-tuning (SFT) followed by RL-based policy optimization. Our approach achieves strong question answering performance based on viewpoint selection and generalizes robustly to unseen synthetic and real scenes. Furthermore, incorporating our learned VG-AVS framework into existing scene-exploration-based EQA systems improves downstream question-answering accuracy.