Transformador Reactivo (RxT) — Procesamiento en Tiempo Real con Estado para Modelos de Lenguaje Reactivos Basados en Eventos

Reactive Transformer (RxT) -- Stateful Real-Time Processing for Event-Driven Reactive Language Models

October 3, 2025

Autores: Adam Filipek

cs.AI

Resumen

La arquitectura Transformer se ha convertido en el estándar de facto para los Modelos de Lenguaje a Gran Escala (LLMs, por sus siglas en inglés), demostrando capacidades notables en la comprensión y generación de lenguaje. Sin embargo, su aplicación en la inteligencia artificial conversacional está fundamentalmente limitada por su naturaleza sin estado y la complejidad computacional cuadrática (O(L^2)) con respecto a la longitud de la secuencia L. Los modelos actuales emulan la memoria reprocesando un historial de conversación en constante expansión con cada turno, lo que conduce a costos y latencias prohibitivos en diálogos extensos. Este artículo presenta el Transformer Reactivo (RxT), una arquitectura novedosa diseñada para superar estas limitaciones al cambiar de un paradigma basado en datos a uno basado en eventos. RxT procesa cada turno conversacional como un evento discreto en tiempo real, manteniendo el contexto en un sistema de Memoria a Corto Plazo (STM, por sus siglas en inglés) integrado y de tamaño fijo. La arquitectura presenta un ciclo operativo distintivo en el que un generador-decodificador produce una respuesta basada en la consulta actual y el estado previo de la memoria, después de lo cual un codificador de memoria y una red de Atención de Memoria dedicada actualizan asincrónicamente la STM con una representación de la interacción completa. Este diseño altera fundamentalmente la dinámica de escalado, reduciendo el costo total de una conversación para el usuario de cuadrático (O(N^2 cdot T)) a lineal (O(N cdot T)) con respecto al número de interacciones N. Al desacoplar la generación de respuestas de las actualizaciones de memoria, RxT logra una baja latencia, permitiendo conversaciones extensas en tiempo real, con estado y económicamente viables. Validamos nuestra arquitectura con una serie de experimentos de prueba de concepto en datos sintéticos, demostrando un rendimiento superior y una latencia de inferencia constante en comparación con un modelo base sin estado de tamaño comparable.

English

The Transformer architecture has become the de facto standard for Large Language Models (LLMs), demonstrating remarkable capabilities in language understanding and generation. However, its application in conversational AI is fundamentally constrained by its stateless nature and the quadratic computational complexity (O(L^2)) with respect to sequence length L. Current models emulate memory by reprocessing an ever-expanding conversation history with each turn, leading to prohibitive costs and latency in long dialogues. This paper introduces the Reactive Transformer (RxT), a novel architecture designed to overcome these limitations by shifting from a data-driven to an event-driven paradigm. RxT processes each conversational turn as a discrete event in real-time, maintaining context in an integrated, fixed-size Short-Term Memory (STM) system. The architecture features a distinct operational cycle where a generator-decoder produces a response based on the current query and the previous memory state, after which a memory-encoder and a dedicated Memory Attention network asynchronously update the STM with a representation of the complete interaction. This design fundamentally alters the scaling dynamics, reducing the total user-facing cost of a conversation from quadratic (O(N^2 cdot T)) to linear (O(N cdot T)) with respect to the number of interactions N. By decoupling response generation from memory updates, RxT achieves low latency, enabling truly real-time, stateful, and economically viable long-form conversations. We validated our architecture with a series of proof-of-concept experiments on synthetic data, demonstrating superior performance and constant-time inference latency compared to a baseline stateless model of comparable size.