Op weg naar ambulant zien: Leren van visueel-gestuurde actieve beeldselectie
Toward Ambulatory Vision: Learning Visually-Grounded Active View Selection
December 15, 2025
Auteurs: Juil Koo, Daehyeon Choi, Sangwoo Youn, Phillip Y. Lee, Minhyuk Sung
cs.AI
Samenvatting
Vision Language Models (VLMs) blinken uit in visueel vraag-antwoord (VQA), maar blijven beperkt tot momentopname-visie: ze redeneren vanuit statische beelden. Daarentegen vereisen belichaamde agenten ambulante visie; zij bewegen zich actief om informatievere gezichtspunten te verkrijgen. Wij introduceren Visually Grounded Active View Selection (VG-AVS), een taak die het meest informatieve volgende gezichtspunt selecteert uitsluitend op basis van de visuele informatie in de huidige afbeelding, zonder afhankelijk te zijn van scènegeheugen of externe kennis. Om deze taak te ondersteunen, construeren we een synthetische dataset met automatisch gegenereerde gepaarde query-doelbeelden en vraag-antwoordprompts. Wij stellen ook een raamwerk voor dat vooraf getrainde VLMs afstemt door middel van supervised fine-tuning (SFT), gevolgd door RL-gebaseerde beleidsoptimalisatie. Onze aanpak bereikt een sterke vraag-antwoordprestatie op basis van gezichtspuntselectie en generaliseert robuust naar onbekende synthetische en echte scènes. Bovendien verbetert de integratie van ons geleerde VG-AVS-raamwerk in bestaande EQA-systemen op basis van scèneverkenning de nauwkeurigheid van downstream vraag-antwoordtaken.
English
Vision Language Models (VLMs) excel at visual question answering (VQA) but remain limited to snapshot vision, reasoning from static images. In contrast, embodied agents require ambulatory vision, actively moving to obtain more informative views. We introduce Visually Grounded Active View Selection (VG-AVS), a task that selects the most informative next viewpoint using only the visual information in the current image, without relying on scene memory or external knowledge. To support this task, we construct a synthetic dataset with automatically generated paired query-target views and question-answer prompts. We also propose a framework that fine-tunes pretrained VLMs through supervised fine-tuning (SFT) followed by RL-based policy optimization. Our approach achieves strong question answering performance based on viewpoint selection and generalizes robustly to unseen synthetic and real scenes. Furthermore, incorporating our learned VG-AVS framework into existing scene-exploration-based EQA systems improves downstream question-answering accuracy.