Recupere, Não Retreine: Estendendo Modelos de Ação em Linguagem Visual para Novas Tarefas no Momento do Teste

Resumo

Estender uma política visão-linguagem-ação (VLA) para uma nova tarefa tipicamente requer demonstrações teleoperadas específicas da tarefa e ajuste fino por tarefa, tornando a adaptação custosa tanto em coleta de dados quanto em computação. Neste artigo, mostramos que esse custo de adaptação por tarefa no lado alvo pode ser substituído por recuperação. Nossa política aumentada por recuperação é treinada uma única vez em demonstrações pareadas do embodiment alvo (consulta) e de um embodiment mais barato (pool, por exemplo, vídeo de mão humana), depois congelada. Novas tarefas são adicionadas na implantação anexando demonstrações do lado do pool a um pool de recuperação. A política congelada condiciona-se em trajetórias recuperadas a cada passo de controle, de modo que novas tarefas são absorvidas indexando dados, e não atualizando parâmetros. O ajuste fino é necessário apenas para assumir um novo embodiment não visto, não para cada nova tarefa. Mostramos que a recuperação melhora políticas além de uma arquitetura específica, incluindo políticas VLA padrão, mas seu efeito é especialmente pronunciado no Cosmos Policy, um modelo mundo-ação (WAM) baseado em geração de vídeo. Nesse contexto, a recuperação fornece uma progressão grosseira da tarefa, enquanto o objetivo de imagem futura do WAM oferece um sinal adicional de consistência visual que fortalece as ações condicionadas pela recuperação. No PushT, estudamos como a recuperação fornece um prior de movimento de alto nível reutilizável para generalização entre embodiments a ângulos-alvo não vistos, enquanto no RoboTwin 2.0 nosso método supera linhas de base entre embodiments em tarefas não vistas, e adicionalmente demonstramos o método em um robô real.

English

Extending a vision-language-action (VLA) policy to a new task typically requires task-specific teleoperated demonstrations and per-task fine-tuning, making adaptation costly in both data collection and compute. In this paper, we show that this target-side per-task adaptation cost can be replaced by retrieval. Our retrieval-augmented policy is trained once on paired demonstrations from the target embodiment (query) and a cheaper embodiment (pool, e.g., human-hand video), then frozen. New tasks are added at deployment by appending pool-side demonstrations to a retrieval pool. The frozen policy conditions on retrieved trajectories at every control step, so new tasks are absorbed by indexing data rather than updating parameters. Fine-tuning is needed only to take on a new, unseen embodiment, not for each new task. We show that retrieval improves policies beyond a specific backbone, including standard VLA policies, but its effect is especially pronounced in Cosmos Policy, a video-generation-based world-action model (WAM). In this setting, retrieval supplies coarse task progression, while the WAM's future-image objective provides an additional visual consistency signal that strengthens the retrieval-conditioned actions. On PushT, we study how retrieval provides a reusable high-level motion prior for cross-embodiment generalization to unseen goal angles, while on RoboTwin 2.0 our method outperforms cross-embodiment baselines on unseen tasks, and we additionally demonstrate the method on a real robot.