Mantis: Um Modelo Versátil de Visão-Linguagem-Ação com Previsão Visual Dissecada

Resumo

Os recentes avanços em modelos Visão-Linguagem-Ação (VLA) demonstram que sinais visuais podem complementar eficazmente supervisões de ação esparsas. No entanto, permitir que os VLA prevejam diretamente estados visuais de alta dimensão pode distribuir a capacidade do modelo e incorrer em custos proibitivos de treinamento, enquanto comprimir estados visuais em sinais de supervisão mais compactos inevitavelmente incorre em gargalos de informação. Além disso, os métodos existentes frequentemente sofrem de capacidades deficientes de compreensão e raciocínio devido à negligência da supervisão linguística. Este artigo introduz o Mantis, uma nova estrutura com uma Previsão Visual Disentrelaçada (DVF) para resolver estas questões. Especificamente, o Mantis desacopla a previsão visual prospectiva do modelo principal com a combinação de meta consultas e um cabeçalho de Transformer de Difusão (DiT). Com o estado visual atual fornecido ao DiT através de uma conexão residual, um objetivo simples de previsão do próximo estado permite que as meta consultas capturem automaticamente as ações latentes que delineiam a trajetória visual e, assim, impulsionem a aprendizagem de ações explícitas. O disentrelaçamento reduz a carga do modelo principal VLA, permitindo-lhe manter capacidades de compreensão e raciocínio através da supervisão linguística. Empiricamente, pré-treinado com vídeos de manipulação humana, demonstrações robóticas e pares imagem-texto, o Mantis atinge uma taxa de sucesso de 96,7% no benchmark LIBERO após *fine-tuning*, superando bases de comparação poderosas enquanto exibe alta velocidade de convergência. Avaliações no mundo real mostram que o Mantis supera o π_{0.5}, um modelo VLA de código aberto líder, particularmente na capacidade de seguir instruções, generalização para instruções não vistas e capacidade de raciocínio. Código e pesos são disponibilizados para apoiar a comunidade de código aberto.

English

Recent advances in Vision-Language-Action (VLA) models demonstrate that visual signals can effectively complement sparse action supervisions. However, letting VLA directly predict high-dimensional visual states can distribute model capacity and incur prohibitive training cost, while compressing visual states into more compact supervisory signals inevitably incurs information bottlenecks. Moreover, existing methods often suffer from poor comprehension and reasoning capabilities due to the neglect of language supervision. This paper introduces Mantis, a novel framework featuring a Disentangled Visual Foresight (DVF) to tackle these issues. Specifically, Mantis decouples visual foresight prediction from the backbone with the combination of meta queries and a diffusion Transformer (DiT) head. With the current visual state provided to the DiT via a residual connection, a simple next-state prediction objective enables the meta queries to automatically capture the latent actions that delineate the visual trajectory, and hence boost the learning of explicit actions. The disentanglement reduces the burden of the VLA backbone, enabling it to maintain comprehension and reasoning capabilities through language supervision. Empirically, pretrained on human manipulation videos, robot demonstrations, and image-text pairs, Mantis achieves a 96.7% success rate on LIBERO benchmark after fine-tuning, surpassing powerful baselines while exhibiting high convergence speed. Real-world evaluations show that Mantis outperforms π_{0.5}, a leading open-source VLA model, particularly in instruction-following capability, generalization to unseen instructions, and reasoning ability. Code and weights are released to support the open-source community.

Mantis: Um Modelo Versátil de Visão-Linguagem-Ação com Previsão Visual Dissecada

Mantis: A Versatile Vision-Language-Action Model with Disentangled Visual Foresight

Resumo

Support