SARAH: Räumlich Bewusste Echtzeit-Agenten-Menschen
SARAH: Spatially Aware Real-time Agentic Humans
February 20, 2026
papers.authors: Evonne Ng, Siwei Zhang, Zhang Chen, Michael Zollhoefer, Alexander Richard
cs.AI
papers.abstract
Da verkörperte Agenten zunehmend zentral für VR, Telepräsenz und digitale Mensch-Anwendungen werden, muss ihre Bewegung über sprachsynchronisierte Gesten hinausgehen: Agenten sollten sich Nutzern zuwenden, auf deren Bewegung reagieren und einen natürlichen Blickkontakt halten. Bisherigen Methoden fehlt dieses räumliche Bewusstsein. Wir schließen diese Lücke mit der ersten echtzeitfähigen, vollständig kausalen Methode für räumlich bewusste Konversationsbewegung, die auf einem streamfähigen VR-Headset einsetzbar ist. Basierend auf der Position eines Nutzers und dyadischem Audio erzeugt unser Ansatz Ganzkörperbewegungen, die Gesten mit Sprache synchronisieren und den Agenten gleichzeitig am Nutzer ausrichten. Unsere Architektur kombiniert ein kausales transformerbasiertes VAE mit verschachtelten latenten Tokens für Streaming-Inferenz und ein Flow-Matching-Modell, das auf Nutzertrajektorie und Audio konditioniert ist. Um unterschiedliche Blickpräferenzen zu unterstützen, führen wir einen Blickbewertungsmechanismus mit Classifier-Free Guidance ein, um Lernen von Steuerung zu entkoppeln: Das Modell erfasst natürliche räumliche Ausrichtung aus Daten, während Nutzer die Blickkontaktintensität zur Laufzeit anpassen können. Auf dem Embody-3D-Datensatz erreicht unsere Methode state-of-the-art Bewegungsqualität bei über 300 FPS – dreimal schneller als nicht-kausale Baseline-Modelle – und erfasst dabei die subtile räumliche Dynamik natürlicher Konversation. Wir validieren unseren Ansatz auf einem Live-VR-System und ermöglichen so den Echtzeiteinsatz räumlich bewusster Konversationsagenten. Details siehe https://evonneng.github.io/sarah/.
English
As embodied agents become central to VR, telepresence, and digital human applications, their motion must go beyond speech-aligned gestures: agents should turn toward users, respond to their movement, and maintain natural gaze. Current methods lack this spatial awareness. We close this gap with the first real-time, fully causal method for spatially-aware conversational motion, deployable on a streaming VR headset. Given a user's position and dyadic audio, our approach produces full-body motion that aligns gestures with speech while orienting the agent according to the user. Our architecture combines a causal transformer-based VAE with interleaved latent tokens for streaming inference and a flow matching model conditioned on user trajectory and audio. To support varying gaze preferences, we introduce a gaze scoring mechanism with classifier-free guidance to decouple learning from control: the model captures natural spatial alignment from data, while users can adjust eye contact intensity at inference time. On the Embody 3D dataset, our method achieves state-of-the-art motion quality at over 300 FPS -- 3x faster than non-causal baselines -- while capturing the subtle spatial dynamics of natural conversation. We validate our approach on a live VR system, bringing spatially-aware conversational agents to real-time deployment. Please see https://evonneng.github.io/sarah/ for details.