Image2Sim: Skalierung von Embodied Navigation durch einen generativen neuronalen Simulator

Zusammenfassung

Verkörperte Navigation zielt darauf ab, Agenten zu entwickeln, die multimodale Ziele interpretieren, im 3D-Raum reasoning können und in der realen Welt zuverlässig Zielorte erreichen. Der Fortschritt wird jedoch weiterhin durch den Mangel an skalierbaren, wirklichkeitstreuen und physikalisch verankerten interaktiven Umgebungen eingeschränkt. Realweltlich gescannte Datensätze bieten zwar visuelle Realitätstreue, sind aber in ihrem Umfang begrenzt. Im Gegensatz dazu lassen sich synthetische Simulatoren leichter skalieren, weisen jedoch oft große Sim-to-Real-Lücken auf. Wir stellen Image2Sim vor, ein neuronales Echtzeit-Simulationsframework, das aus mit Pose versehenen RGB-D-Bildsequenzen hochwertige interaktive Umgebungen erstellt. Die zentrale Idee ist die Entkopplung der 3D-Raumverankerung von der fotorealistischen Beobachtungssynthese. Für die Szenenkonstruktion verwendet Image2Sim ein Feed-Forward-Feature-Gauß-Modell, das mit Pose versehene RGB-D-Beobachtungen in einem Durchlauf in eine 3D-Feature-Gauß-Repräsentation überführt. Für das Rendern schlagen wir ein geometriebewusstes One-Step-Pixel-Flow-Modell vor, das spärliche und verrauschte Gauß-Projektionen in hochwertige panoramische RGB-D-Beobachtungen umwandelt. Image2Sim dient zudem als vollautomatisierte Daten-Engine für verkörperte Agenten, die in großem Maßstab hochwertige Beobachtungen, ausführbare Aktionen und vielfältige Navigationsanweisungen generiert. Es wandelt große Sammlungen von Videos und Bildern in fast 20.000 interaktive Szenen um und synthetisiert über 10 Millionen Navigations-Trainingsproben. Navigationsmodelle, die vollständig in diesen neuronalen Umgebungen trainiert werden, erzielen auf wichtigen Benchmarks deutliche Verbesserungen und übertragen sich effektiv auf reale Zero-Shot-Einstellungen. Diese Ergebnisse deuten darauf hin, dass skalierbare neuronale Simulation als praktisches Trainingssubstrat für verkörperte Navigation in großem Maßstab dienen kann.

English

Embodied navigation aims to build agents that interpret multimodal goals, reason in 3D space, and reach target destinations reliably in the real world. However, progress remains constrained by the lack of scalable, high-fidelity, and physically grounded interactive environments. Although real-world scanned datasets offer visual realism, they are limited by scale. In contrast, synthetic simulators scale more easily but often exhibit large sim-to-real gaps. We introduce Image2Sim, a real-time neural simulation framework that constructs high-quality interactive environments from posed RGB-D image sequences. The central idea is to decouple 3D spatial anchoring from photorealistic observation synthesis. For scene construction, Image2Sim uses a feed-forward feature Gaussian model that lifts posed RGB-D observations into a 3D feature-Gaussian representation in a single pass. For rendering, we propose a Geometry-Aware One-Step Pixel Flow model that transforms sparse and noisy Gaussian projections into high-quality panoramic RGB-D observations. Image2Sim also serves as a fully automated embodied data engine that generates high-fidelity observations, executable actions, and diverse navigation instructions at scale. It converts large collections of videos and images into nearly 20K interactive scenes and synthesizes more than 10 million navigation training samples. Navigation models trained entirely in these neural environments achieve strong improvements on major benchmarks and transfer effectively to real-world zero-shot settings. These results suggest that scalable neural simulation can serve as a practical training substrate for embodied navigation at scale.