Écho-Mémoire : une étude contrôlée de la mémoire dans les modèles du monde d'action

Résumé

Nous présentons Echo-Memory, une étude contrôlée des mécanismes de mémoire dans les modèles de monde conditionnés par l'action. Ces modèles génèrent des vidéos multi-segments à partir d'une première image, d'une invite textuelle et d'une séquence caméra-action, mais leur défaillance centrale est souvent la mémoire plutôt que la synthèse locale d'image : après que la caméra s'éloigne puis revienne, la scène ou l'objet saillant peut silencieusement changer. Les conceptions de mémoire existantes sont difficiles à comparer car les gains sont entremêlés avec des différences d'architecture, d'entraînement, de récupération et d'évaluation. Echo-Memory fixe l'interface action-vers-vidéo et ne fait varier que la manière dont l'historique est stocké et lu par le générateur. Sous une architecture commune de diffusion vidéo, d'optimiseur, de représentation caméra-action, d'échantillonneur et de pipeline d'évaluation, nous comparons le contexte brut, la mémoire par compression, les résumés spatiaux avec différents chemins de lecture, et la récurrence espace-état. Cette matrice appariée sépare quatre axes autrement confondus : capacité, compression, lecture et récurrence. Nous évaluons également la mémoire via un protocole à trois branches : qualité de rejeu, revisite en boucle intra-domaine et sondes de retour hors domaine. Les branches sont souvent en désaccord, montrant que la fidélité du rejeu n'est pas un indicateur suffisant pour se souvenir d'un monde. Trois conclusions en découlent. Le contexte brut constitue une base de capacité solide et améliore le retour hors domaine bien plus que les métriques de rejeu. La compacité n'est pas un substitut gratuit à la capacité : les mémoires agressives par compression spatiale et hybride perdent les preuves saillantes nécessaires au retour. Enfin, la récurrence espace-état par blocs est le mécanisme de retour hors domaine le plus puissant de notre matrice, montrant que la structure de la mémoire implicite compte autant que la décision de l'utiliser. Ces résultats fournissent un protocole compact pour étudier la mémoire dans les modèles de monde d'action au-delà des métriques de rejeu isolées.

English

We present Echo-Memory, a controlled study of memory mechanisms in action-conditioned world models. These models generate multi-segment videos from a first frame, text prompt, and camera-action sequence, but their central failure is often memory rather than local image synthesis: after the camera leaves and returns, the scene or salient object may silently change. Existing memory designs are hard to compare because gains are entangled with backbone, training, retrieval, and evaluation differences. Echo-Memory fixes the action-to-video interface and varies only how history is stored and read by the generator. Under a shared video diffusion backbone, optimizer, camera-action representation, sampler, and evaluation pipeline, we compare raw context, compression-based memory, spatial summaries with different read-out paths, and state-space recurrence. This matched matrix separates four otherwise conflated axes: capacity, compression, read-out, and recurrence. We also evaluate memory through a three-branch protocol: replay quality, in-domain loop revisit, and open-domain return probes. The branches routinely disagree, showing that replay fidelity is not a sufficient proxy for remembering a world. Three findings follow. Raw context is a strong capacity baseline and improves open-domain return far more than it improves replay metrics. Compactness is not a free substitute for capacity: aggressive spatial and hybrid-compression memories lose the salient evidence needed for return. Finally, block-wise state-space recurrence is the strongest open-domain return mechanism in our matrix, showing that the structure of implicit memory matters as much as the decision to use it. These results provide a compact protocol for studying memory in action world models beyond isolated replay metrics.