Wan-Streamer v0.1: Modelos Fundacionales Interactivos en Tiempo Real de Extremo a Extremo

Resumen

Presentamos Wan-Streamer, un modelo fundacional interactivo de extremo a extremo, nativo en streaming, diseñado desde cero para la interacción audiovisual dúplex completa, en tiempo real y con baja latencia. Wan-Streamer modela de manera fluida lenguaje, audio y video tanto como entrada como salida dentro de un único Transformer, donde la secuencia se representa como tokens de entrada visuales, de audio y de texto intercalados, junto con tokens de salida visuales, de audio y de texto, coordinados mediante atención bloque-causal para un streaming incremental. A diferencia de los sistemas interactivos en cascada que dependen de módulos separados de VAD, ASR, lenguaje, TTS, animación basada en audio o generación de video, Wan-Streamer no requiere módulos externos de lenguaje, habla, avatar o generación de video: la percepción, el razonamiento, la generación, la temporización de respuestas, la gestión de turnos y la sincronización entre modalidades se aprenden conjuntamente dentro de un único modelo unificado, lo que reduce la latencia del pipeline y la acumulación de errores. Para respaldar la capacidad de respuesta audiovisual natural, rediseñamos toda la pila en torno a la capacidad de streaming, incluidos codificadores causales, decodificadores causales, atención bloque-causal y una programación de tokens multimodales de baja latencia, lo que permite unidades de streaming de hasta 160 ms a 25 fps. Wan-Streamer logra una latencia de respuesta del modelo de aproximadamente 200 ms y una latencia total de interacción de aproximadamente 550 ms cuando se combina con una latencia de red bidireccional de 350 ms, lo que posibilita una comunicación audiovisual dúplex por debajo del segundo. Estos resultados posicionan a Wan-Streamer como un modelo fundacional interactivo multimodal, unificado y de extremo a extremo para la interacción en streaming de baja latencia.

English

We present Wan-Streamer, a native-streaming, end-to-end interactive foundation model designed from the ground up for real-time, low-latency, full-duplex audio-visual interaction. Wan-Streamer seamlessly models language, audio, and video as both input and output within a single Transformer, where the sequence is represented as interleaved visual, audio, and text input tokens together with visual, audio, and text output tokens, coordinated by block-causal attention for incremental streaming. Unlike cascaded interactive systems that rely on separate VAD, ASR, language, TTS, audio-driven animation, or video-generation modules, Wan-Streamer does not rely on external language, speech, avatar, or video-generation modules: perception, reasoning, generation, response timing, turn management, and cross-modal synchronization are learned jointly within one unified model, reducing pipeline latency and error accumulation. To support natural audio-visual responsiveness, we redesign the entire stack around streamability, including causal encoders, causal decoders, block-causal attention, and low-latency multimodal token scheduling, enabling streaming units as short as 160 ms at 25 fps. Wan-Streamer achieves approximately 200 ms model-side response latency and approximately 550 ms total interaction latency when combined with 350 ms bidirectional network latency, supporting sub-second duplex audio-visual communication. These results position Wan-Streamer as a unified, end-to-end, multimodal interactive foundation model for low-latency streaming interaction.