Echo-Memory: Een gecontroleerde studie van geheugen in actie-wereldmodellen

Samenvatting

We presenteren Echo-Memory, een gecontroleerde studie van geheugenmechanismen in actie-geconditioneerde wereldmodellen. Deze modellen genereren multi-segment video's vanuit een eerste frame, een tekstprompt en een camera-actie-sequentie, maar hun centrale falen is vaak het geheugen, niet de lokale beeldensynthese: nadat de camera is verplaatst en terugkeert, kan de scène of het opvallende object stilzwijgend veranderen. Bestaande geheugenontwerpen zijn moeilijk te vergelijken omdat de voordelen verstrengeld zijn met verschillen in backbone, training, retrieval en evaluatie. Echo-Memory fixeert de actie-naar-video-interface en varieert alleen hoe de geschiedenis wordt opgeslagen en gelezen door de generator. Onder een gedeelde video-diffusie-backbone, optimizer, camera-actie-representatie, sampler en evaluatiepijplijn vergelijken we ruwe context, compressie-gebaseerd geheugen, ruimtelijke samenvattingen met verschillende uitleespaden, en toestandsruimte-recurrentie. Deze gematchte matrix scheidt vier anderszins verstrengelde assen: capaciteit, compressie, uitlees en recurrentie. We evalueren ook geheugen via een drie-vertakkingsprotocol: replay-kwaliteit, in-domein loop-herbezoek, en open-domein terugkeerprobes. De vertakkingen zijn het routinematig oneens, wat aantoont dat replay-getrouwheid geen voldoende proxy is voor het onthouden van een wereld. Drie bevindingen volgen. Ruwe context is een sterke capaciteitsbaseline en verbetert open-domein terugkeer veel meer dan het replay-metrics verbetert. Compactheid is geen gratis substituut voor capaciteit: agressieve ruimtelijke en hybride-compressieherinneringen verliezen het opvallende bewijs dat nodig is voor terugkeer. Ten slotte is bloksgewijze toestandsruimte-recurrentie het sterkste open-domein terugkeermechanisme in onze matrix, wat aantoont dat de structuur van impliciet geheugen even belangrijk is als de beslissing om het te gebruiken. Deze resultaten bieden een compact protocol voor het bestuderen van geheugen in actie-wereldmodellen voorbij geïsoleerde replay-metrics.

English

We present Echo-Memory, a controlled study of memory mechanisms in action-conditioned world models. These models generate multi-segment videos from a first frame, text prompt, and camera-action sequence, but their central failure is often memory rather than local image synthesis: after the camera leaves and returns, the scene or salient object may silently change. Existing memory designs are hard to compare because gains are entangled with backbone, training, retrieval, and evaluation differences. Echo-Memory fixes the action-to-video interface and varies only how history is stored and read by the generator. Under a shared video diffusion backbone, optimizer, camera-action representation, sampler, and evaluation pipeline, we compare raw context, compression-based memory, spatial summaries with different read-out paths, and state-space recurrence. This matched matrix separates four otherwise conflated axes: capacity, compression, read-out, and recurrence. We also evaluate memory through a three-branch protocol: replay quality, in-domain loop revisit, and open-domain return probes. The branches routinely disagree, showing that replay fidelity is not a sufficient proxy for remembering a world. Three findings follow. Raw context is a strong capacity baseline and improves open-domain return far more than it improves replay metrics. Compactness is not a free substitute for capacity: aggressive spatial and hybrid-compression memories lose the salient evidence needed for return. Finally, block-wise state-space recurrence is the strongest open-domain return mechanism in our matrix, showing that the structure of implicit memory matters as much as the decision to use it. These results provide a compact protocol for studying memory in action world models beyond isolated replay metrics.