Eco-Memoria: Un estudio controlado de la memoria en modelos de mundo de acción

Resumen

Presentamos Echo-Memory, un estudio controlado de mecanismos de memoria en modelos de mundo condicionados por acciones. Estos modelos generan videos de múltiples segmentos a partir de un primer fotograma, un texto de indicación y una secuencia de acciones de cámara, pero su fallo central suele ser la memoria más que la síntesis local de imágenes: tras alejarse la cámara y regresar, la escena u objeto destacado puede cambiar silenciosamente. Los diseños de memoria existentes son difíciles de comparar porque las mejoras se entrelazan con diferencias en la arquitectura base, el entrenamiento, la recuperación y la evaluación. Echo-Memory fija la interfaz entre acción y video, y varía únicamente cómo se almacena y lee el historial por parte del generador. Bajo una arquitectura base compartida de difusión de video, optimizador, representación de acciones de cámara, muestreador y canal de evaluación, comparamos contexto en bruto, memoria basada en compresión, resúmenes espaciales con diferentes rutas de lectura y recurrencia de espacio de estados. Esta matriz emparejada separa cuatro ejes que de otro modo estarían confundidos: capacidad, compresión, lectura y recurrencia. También evaluamos la memoria mediante un protocolo de tres ramas: calidad de reproducción, revisita de bucle dentro del dominio y sondas de retorno de dominio abierto. Las ramas suelen discrepar, lo que demuestra que la fidelidad de reproducción no es un indicador suficiente para recordar un mundo. Tres hallazgos se derivan de esto. El contexto en bruto es una línea base de capacidad sólida y mejora el retorno de dominio abierto mucho más de lo que mejora las métricas de reproducción. La compacidad no es un sustituto gratuito de la capacidad: las memorias agresivas de compresión espacial e híbrida pierden la evidencia relevante necesaria para el retorno. Finalmente, la recurrencia de espacio de estados por bloques es el mecanismo de retorno de dominio abierto más sólido en nuestra matriz, lo que muestra que la estructura de la memoria implícita importa tanto como la decisión de usarla. Estos resultados proporcionan un protocolo compacto para estudiar la memoria en modelos de mundo con acciones más allá de métricas de reproducción aisladas.

English

We present Echo-Memory, a controlled study of memory mechanisms in action-conditioned world models. These models generate multi-segment videos from a first frame, text prompt, and camera-action sequence, but their central failure is often memory rather than local image synthesis: after the camera leaves and returns, the scene or salient object may silently change. Existing memory designs are hard to compare because gains are entangled with backbone, training, retrieval, and evaluation differences. Echo-Memory fixes the action-to-video interface and varies only how history is stored and read by the generator. Under a shared video diffusion backbone, optimizer, camera-action representation, sampler, and evaluation pipeline, we compare raw context, compression-based memory, spatial summaries with different read-out paths, and state-space recurrence. This matched matrix separates four otherwise conflated axes: capacity, compression, read-out, and recurrence. We also evaluate memory through a three-branch protocol: replay quality, in-domain loop revisit, and open-domain return probes. The branches routinely disagree, showing that replay fidelity is not a sufficient proxy for remembering a world. Three findings follow. Raw context is a strong capacity baseline and improves open-domain return far more than it improves replay metrics. Compactness is not a free substitute for capacity: aggressive spatial and hybrid-compression memories lose the salient evidence needed for return. Finally, block-wise state-space recurrence is the strongest open-domain return mechanism in our matrix, showing that the structure of implicit memory matters as much as the decision to use it. These results provide a compact protocol for studying memory in action world models beyond isolated replay metrics.