AURA: Aktionsgesteuerter Speicher für Roboter-Policies bei konstantem VRAM

Zusammenfassung

Der KV-Cache ist der richtige Speicher für Rechenzentren, aber der falsche für Roboter. Die Inferenz in Rechenzentren bündelt viele kurze Anfragen und setzt diese zurück, wodurch ein Aufmerksamkeits-Cache über eine Vielzahl von Nutzern amortisiert wird. Verkörperte Agenten hingegen führen eine einzige lange, nicht zurücksetzende Episode auf bandbreitenbegrenzter Edge-Hardware aus, wo Hochbandbreitenspeicher und Flash knapp sind, Flash eine begrenzte Schreibendurance aufweist und Speicherschreibvorgänge statt Rechenleistung zum limitierenden Engpass werden können. AURA-Mem (Action-Utility Recurrent Adaptive Memory) zielt auf dieses Regime ab. Es umhüllt ein eingefrorenes Vision-Language-Action-Rückgrat mit einem rekurrenten Speicher konstanter Größe und einem gelernten Gatter, das nur dann schreibt, wenn die aktuelle Beobachtung die nächste Aktion ändern würde: ein Speicher, der weiß, wann er schweigen muss. Im Gegensatz zu rekonstruktionsbasiertem Speicher wird das Gatter direkt gegen ein geschlossenes Aktionsfehlersignal trainiert. Sein Inferenzzustand ist unabhängig vom Horizont auf 4.224 Byte festgelegt, während ein KV-Cache bei 100.000 Schritten auf das 6.061-Fache anwächst. In einem kontrollierten synthetischen Benchmark erreicht AURA-Mem die Genauigkeit der besten O(1)-Basislinie, benötigt jedoch 5,19- bis 6,13-mal weniger Schreibvorgänge und bei einfacheren Konfigurationen bis zu 9,19-mal weniger Schreibvorgänge. Budgetangepasste zufällige oder periodische Zeitpläne erzielen diesen Gewinn nicht, was den Nutzen auf das Aktions-Überraschungssignal eingrenzt. In einer trainierten geschlossenen OpenVLA-OFT-7B-Platte auf LIBERO-Long (n=60 Episoden pro Arm) beeinträchtigt das Gatter den Erfolg nicht: AURA-Mem erreicht die ungesteuerte Basisstrategie (0,233) und übertrifft leicht einen KV-Arm mit ständigem Schreiben (0,217), während es 7,0-mal weniger Schreibvorgänge und konstanten Speicher benötigt. Wir instanziieren zudem eine Näherungsgrenze des Informationszustands-Wertverlusts als methodische Demonstration; in diesem Maßstab ist die Grenze nichtssagend und keine Garantie.

English

The KV-cache is the right memory for datacenters but the wrong memory for robots. Datacenter inference batches many short requests and resets them, amortizing an attention cache across a crowd. Embodied agents instead run one long, non-resetting episode on bandwidth-limited edge hardware, where high-bandwidth memory and flash are scarce, flash has finite write endurance, and memory writes rather than compute can become the binding constraint. AURA-Mem (Action-Utility Recurrent Adaptive Memory) targets this regime. It wraps a frozen vision-language-action backbone with a constant-size recurrent memory and a learned gate that writes only when the current observation would change the next action: memory that knows when to stay silent. Unlike reconstruction-based memory, the gate is trained directly against a closed-loop action-error signal. Its inference state is fixed at 4,224 bytes regardless of horizon, while a KV-cache grows to 6,061 times larger at 100,000 steps. On a controlled synthetic benchmark, AURA-Mem matches the best O(1) baseline in accuracy while using 5.19-6.13 times fewer writes, and up to 9.19 times fewer writes on easier configurations. Budget-matched random and periodic schedules do not recover this gain, isolating the benefit to the action-surprise signal. On a trained closed-loop OpenVLA-OFT 7B panel on LIBERO-Long (n=60 episodes per arm), the gate does not hurt success: AURA-Mem matches the ungated base policy (0.233) and slightly exceeds an always-write KV arm (0.217), while using 7.0 times fewer writes and constant memory. We also instantiate an approximate-information-state value-loss bound as a methodology demonstration; at this scale, the bound is vacuous rather than a guarantee.