Auf dem Weg zur ambulanten Vision: Lernen visuell fundierter aktiver Blickauswahl
Toward Ambulatory Vision: Learning Visually-Grounded Active View Selection
December 15, 2025
papers.authors: Juil Koo, Daehyeon Choi, Sangwoo Youn, Phillip Y. Lee, Minhyuk Sung
cs.AI
papers.abstract
Vision Language Models (VLMs) sind hervorragend im visuellen Frage-Antworten (VQA), bleiben jedoch auf die Momentaufnahmen-Vision beschränkt, bei der aus statischen Bildern geschlussfolgert wird. Im Gegensatz dazu benötigen verkörperte Agenten eine ambulante Vision, bei der sie sich aktiv bewegen, um informativeren Sichtweisen zu erhalten. Wir führen Visually Grounded Active View Selection (VG-AVS) ein, eine Aufgabe, die den informativsten nächsten Blickwinkel aussucht, wobei nur die visuellen Informationen des aktuellen Bildes genutzt werden, ohne auf Szenengedächtnis oder externes Wissen zurückzugreifen. Um diese Aufgabe zu unterstützen, erstellen wir einen synthetischen Datensatz mit automatisch generierten gepaarten Query-Target-Ansichten und Frage-Antwort-Prompts. Wir schlagen außerdem ein Framework vor, das vortrainierte VLMs durch Supervised Fine-Tuning (SFT) gefolgt von einer RL-basierten Policy-Optimierung anpasst. Unser Ansatz erreicht eine hohe Frage-Antwort-Leistung basierend auf der Blickauswahl und verallgemeinert robust auf ungesehene synthetische und reale Szenen. Darüber hinaus verbessert die Integration unseres gelernten VG-AVS-Frameworks in bestehende, auf Szenenerkundung basierende EQA-Systeme die Genauigkeit des nachgelagerten Frage-Antwortens.
English
Vision Language Models (VLMs) excel at visual question answering (VQA) but remain limited to snapshot vision, reasoning from static images. In contrast, embodied agents require ambulatory vision, actively moving to obtain more informative views. We introduce Visually Grounded Active View Selection (VG-AVS), a task that selects the most informative next viewpoint using only the visual information in the current image, without relying on scene memory or external knowledge. To support this task, we construct a synthetic dataset with automatically generated paired query-target views and question-answer prompts. We also propose a framework that fine-tunes pretrained VLMs through supervised fine-tuning (SFT) followed by RL-based policy optimization. Our approach achieves strong question answering performance based on viewpoint selection and generalizes robustly to unseen synthetic and real scenes. Furthermore, incorporating our learned VG-AVS framework into existing scene-exploration-based EQA systems improves downstream question-answering accuracy.