Эхо-память: контролируемое исследование памяти в моделях мира действий

Аннотация

Мы представляем Echo-Memory — контролируемое исследование механизмов памяти в мир-моделях, обусловленных действиями. Такие модели генерируют многокадровые видео, исходя из первого кадра, текстового запроса и последовательности камера-действие, однако их ключевым недостатком часто оказывается именно память, а не локальный синтез изображения: после того как камера покидает сцену и возвращается, сцена или значимый объект могут незаметно измениться. Существующие архитектуры памяти трудно сопоставить, поскольку улучшения переплетаются с различиями в базовых моделях, обучении, поиске и оценке. Echo-Memory фиксирует интерфейс «действие→видео», варьируя только способ хранения и считывания истории генератором. На единой основе — диффузионной модели видео, оптимизаторе, представлении камера-действие, сэмплере и процедуре оценки — мы сравниваем необработанный контекст, память на основе сжатия, пространственные сводки с разными путями считывания и рекуррентность в пространстве состояний. Эта выровненная матрица разделяет четыре обычно смешиваемых аспекта: ёмкость, сжатие, считывание и рекуррентность. Оценка памяти проводится по трёхзвеньевому протоколу: качество воспроизведения, повторный проход по циклу внутри домена и зондирование возврата в открытом домене. Звенья часто расходятся, показывая, что точность воспроизведения не является достаточным показателем для запоминания мира. Следуют три вывода. Необработанный контекст — сильный базовый уровень по ёмкости и значительно лучше улучшает возврат в открытом домене, чем показатели воспроизведения. Компактность — небесплатная замена ёмкости: агрессивные пространственные и гибридные сжатые памяти теряют значимые свидетельства, необходимые для возврата. Наконец, блочная рекуррентность в пространстве состояний оказывается сильнейшим механизмом возврата в открытом домене в нашей матрице, показывая, что структура неявной памяти так же важна, как и само решение её использовать. Эти результаты предлагают компактный протокол для изучения памяти в мир-моделях действий, выходящий за рамки изолированных показателей воспроизведения.

English

We present Echo-Memory, a controlled study of memory mechanisms in action-conditioned world models. These models generate multi-segment videos from a first frame, text prompt, and camera-action sequence, but their central failure is often memory rather than local image synthesis: after the camera leaves and returns, the scene or salient object may silently change. Existing memory designs are hard to compare because gains are entangled with backbone, training, retrieval, and evaluation differences. Echo-Memory fixes the action-to-video interface and varies only how history is stored and read by the generator. Under a shared video diffusion backbone, optimizer, camera-action representation, sampler, and evaluation pipeline, we compare raw context, compression-based memory, spatial summaries with different read-out paths, and state-space recurrence. This matched matrix separates four otherwise conflated axes: capacity, compression, read-out, and recurrence. We also evaluate memory through a three-branch protocol: replay quality, in-domain loop revisit, and open-domain return probes. The branches routinely disagree, showing that replay fidelity is not a sufficient proxy for remembering a world. Three findings follow. Raw context is a strong capacity baseline and improves open-domain return far more than it improves replay metrics. Compactness is not a free substitute for capacity: aggressive spatial and hybrid-compression memories lose the salient evidence needed for return. Finally, block-wise state-space recurrence is the strongest open-domain return mechanism in our matrix, showing that the structure of implicit memory matters as much as the decision to use it. These results provide a compact protocol for studying memory in action world models beyond isolated replay metrics.