AURA: Memória Controlada por Ações para Políticas de Robô com VRAM Constante

Resumo

A memória KV-cache é adequada para datacenters, mas inadequada para robôs. A inferência em datacenters processa muitas solicitações curtas e as reinicia, amortizando um cache de atenção entre uma multidão de requisições. Agentes corporificados, por outro lado, executam um único episódio longo, sem reinicializações, em hardware de borda com largura de banda limitada, onde memória de alta largura de banda e flash são escassos, o flash possui resistência finita a escritas, e as escritas na memória, em vez do processamento, podem se tornar a restrição dominante. A AURA-Mem (Memória Adaptativa Recorrente com Utilidade de Ação) visa esse regime. Ela envolve um backbone congelado de visão-linguagem-ação com uma memória recorrente de tamanho constante e uma porta aprendida que escreve apenas quando a observação atual alteraria a próxima ação: uma memória que sabe quando ficar silenciosa. Diferentemente da memória baseada em reconstrução, a porta é treinada diretamente contra um sinal de erro de ação em malha fechada. Seu estado de inferência é fixo em 4.224 bytes, independentemente do horizonte, enquanto uma memória KV-cache cresce para 6.061 vezes maior em 100.000 passos. Em um benchmark sintético controlado, a AURA-Mem iguala a melhor linha de base O(1) em precisão, utilizando 5,19 a 6,13 vezes menos escritas, e até 9,19 vezes menos escritas em configurações mais fáceis. Cronogramas aleatórios e periódicos com orçamento correspondente não recuperam esse ganho, isolando o benefício ao sinal de surpresa da ação. Em um painel treinado OpenVLA-OFT 7B em malha fechada no LIBERO-Long (n=60 episódios por braço), a porta não prejudica o sucesso: a AURA-Mem iguala a política base sem porta (0,233) e supera ligeiramente um braço KV de sempre escrever (0,217), enquanto utiliza 7,0 vezes menos escritas e memória constante. Também instanciamos um limite de perda de valor de estado de informação aproximada como demonstração metodológica; nessa escala, o limite é vago, em vez de uma garantia.

English

The KV-cache is the right memory for datacenters but the wrong memory for robots. Datacenter inference batches many short requests and resets them, amortizing an attention cache across a crowd. Embodied agents instead run one long, non-resetting episode on bandwidth-limited edge hardware, where high-bandwidth memory and flash are scarce, flash has finite write endurance, and memory writes rather than compute can become the binding constraint. AURA-Mem (Action-Utility Recurrent Adaptive Memory) targets this regime. It wraps a frozen vision-language-action backbone with a constant-size recurrent memory and a learned gate that writes only when the current observation would change the next action: memory that knows when to stay silent. Unlike reconstruction-based memory, the gate is trained directly against a closed-loop action-error signal. Its inference state is fixed at 4,224 bytes regardless of horizon, while a KV-cache grows to 6,061 times larger at 100,000 steps. On a controlled synthetic benchmark, AURA-Mem matches the best O(1) baseline in accuracy while using 5.19-6.13 times fewer writes, and up to 9.19 times fewer writes on easier configurations. Budget-matched random and periodic schedules do not recover this gain, isolating the benefit to the action-surprise signal. On a trained closed-loop OpenVLA-OFT 7B panel on LIBERO-Long (n=60 episodes per arm), the gate does not hurt success: AURA-Mem matches the ungated base policy (0.233) and slightly exceeds an always-write KV arm (0.217), while using 7.0 times fewer writes and constant memory. We also instantiate an approximate-information-state value-loss bound as a methodology demonstration; at this scale, the bound is vacuous rather than a guarantee.