Wan-Streamer v0.1 : Modèles de fondation interactifs en temps réel de bout en bout

Résumé

Nous présentons Wan-Streamer, un modèle de fondation interactif natif au streaming, de bout en bout, conçu dès l’origine pour une interaction audio-visuelle en duplex intégral, en temps réel et à faible latence. Wan-Streamer modélise de manière fluide le langage, l’audio et la vidéo en entrée et en sortie au sein d’un unique Transformer, où la séquence est représentée par des jetons d’entrée visuels, audio et textuels entrelacés, accompagnés de jetons de sortie visuels, audio et textuels, coordonnés par une attention bloc-causale pour un streaming incrémental. Contrairement aux systèmes interactifs en cascade qui reposent sur des modules séparés de VAD, ASR, langage, TTS, animation pilotée par l’audio ou génération vidéo, Wan-Streamer ne nécessite aucun module externe de langage, de parole, d’avatar ou de génération vidéo : la perception, le raisonnement, la génération, le timing des réponses, la gestion des tours de parole et la synchronisation inter-modale sont appris conjointement au sein d’un seul modèle unifié, réduisant ainsi la latence du pipeline et l’accumulation d’erreurs. Pour soutenir une réactivité audio-visuelle naturelle, nous repensons l’intégralité de la pile autour de l’aptitude au streaming, incluant des encodeurs causaux, des décodeurs causaux, une attention bloc-causale et un ordonnancement des jetons multimodaux à faible latence, permettant des unités de streaming aussi courtes que 160 ms à 25 ips. Wan-Streamer atteint une latence de réponse côté modèle d’environ 200 ms et une latence d’interaction totale d’environ 550 ms, lorsque combinée avec une latence réseau bidirectionnelle de 350 ms, prenant en charge une communication audio-visuelle en duplex inférieure à la seconde. Ces résultats positionnent Wan-Streamer comme un modèle de fondation interactif, unifié, de bout en bout et multimodal, destiné à l’interaction en streaming à faible latence.

English

We present Wan-Streamer, a native-streaming, end-to-end interactive foundation model designed from the ground up for real-time, low-latency, full-duplex audio-visual interaction. Wan-Streamer seamlessly models language, audio, and video as both input and output within a single Transformer, where the sequence is represented as interleaved visual, audio, and text input tokens together with visual, audio, and text output tokens, coordinated by block-causal attention for incremental streaming. Unlike cascaded interactive systems that rely on separate VAD, ASR, language, TTS, audio-driven animation, or video-generation modules, Wan-Streamer does not rely on external language, speech, avatar, or video-generation modules: perception, reasoning, generation, response timing, turn management, and cross-modal synchronization are learned jointly within one unified model, reducing pipeline latency and error accumulation. To support natural audio-visual responsiveness, we redesign the entire stack around streamability, including causal encoders, causal decoders, block-causal attention, and low-latency multimodal token scheduling, enabling streaming units as short as 160 ms at 25 fps. Wan-Streamer achieves approximately 200 ms model-side response latency and approximately 550 ms total interaction latency when combined with 350 ms bidirectional network latency, supporting sub-second duplex audio-visual communication. These results position Wan-Streamer as a unified, end-to-end, multimodal interactive foundation model for low-latency streaming interaction.