Wan-Streamer v0.1: Ende-zu-Ende-Echtzeit-interaktive Foundation-Modelle

Zusammenfassung

Wir präsentieren Wan-Streamer, ein natives Streaming-End-to-End-Foundation-Modell, das von Grund auf für Echtzeit-, Niedriglatenz- und Vollduplex-Audio-Video-Interaktion konzipiert wurde. Wan-Streamer modelliert nahtlos Sprache, Audio und Video sowohl als Eingabe als auch als Ausgabe in einem einzigen Transformer, wobei die Sequenz als verschachtelte visuelle, Audio- und Text-Eingabe-Tokens zusammen mit visuellen, Audio- und Text-Ausgabe-Tokens dargestellt wird, koordiniert durch block-kausale Aufmerksamkeit für inkrementelles Streaming. Im Gegensatz zu kaskadierten interaktiven Systemen, die auf separate VAD-, ASR-, Sprach-, TTS-, audiogesteuerte Animations- oder Videogenerierungsmodule angewiesen sind, verlässt sich Wan-Streamer nicht auf externe Sprach-, Sprach-, Avatar- oder Videogenerierungsmodule: Wahrnehmung, Schlussfolgerung, Generierung, Antwortzeitpunkt, Sprecherwechsel-Management und modalitätsübergreifende Synchronisation werden gemeinsam in einem einzigen Modell gelernt, wodurch Pipeline-Latenz und Fehlerakkumulation reduziert werden. Um eine natürliche Audio-Video-Reaktionsfähigkeit zu unterstützen, gestalten wir den gesamten Stack neu im Hinblick auf Streaming-Fähigkeit, einschließlich kausaler Encoder, kausaler Decoder, block-kausaler Aufmerksamkeit und multimodaler Token-Scheduling mit niedriger Latenz, was Streaming-Einheiten von nur 160 ms bei 25 fps ermöglicht. Wan-Streamer erreicht eine modellseitige Antwortlatenz von etwa 200 ms und eine Gesamtinteraktionslatenz von etwa 550 ms bei Kombination mit 350 ms bidirektionaler Netzwerklatenz, was eine Duplex-Audio-Video-Kommunikation unter einer Sekunde unterstützt. Diese Ergebnisse positionieren Wan-Streamer als ein einheitliches, end-to-end, multimodales interaktives Foundation-Modell für Streaming-Interaktion mit niedriger Latenz.

English

We present Wan-Streamer, a native-streaming, end-to-end interactive foundation model designed from the ground up for real-time, low-latency, full-duplex audio-visual interaction. Wan-Streamer seamlessly models language, audio, and video as both input and output within a single Transformer, where the sequence is represented as interleaved visual, audio, and text input tokens together with visual, audio, and text output tokens, coordinated by block-causal attention for incremental streaming. Unlike cascaded interactive systems that rely on separate VAD, ASR, language, TTS, audio-driven animation, or video-generation modules, Wan-Streamer does not rely on external language, speech, avatar, or video-generation modules: perception, reasoning, generation, response timing, turn management, and cross-modal synchronization are learned jointly within one unified model, reducing pipeline latency and error accumulation. To support natural audio-visual responsiveness, we redesign the entire stack around streamability, including causal encoders, causal decoders, block-causal attention, and low-latency multimodal token scheduling, enabling streaming units as short as 160 ms at 25 fps. Wan-Streamer achieves approximately 200 ms model-side response latency and approximately 550 ms total interaction latency when combined with 350 ms bidirectional network latency, supporting sub-second duplex audio-visual communication. These results position Wan-Streamer as a unified, end-to-end, multimodal interactive foundation model for low-latency streaming interaction.