Guava: Um Arnês Eficaz e Universal para Manipulação Incorporada

Resumo

Modelos de linguagem treinados em dados visão-linguagem em larga escala demonstraram forte potencial para agentes incorporados. A utilização de modelos por meio do uso de ferramentas incorporadas oferece uma alternativa promissora aos sistemas visão-linguagem-ação ponta a ponta, combinando raciocínio de alto nível com módulos externos para percepção, planejamento e controle. No entanto, ainda não está claro o que constitui uma estrutura eficaz para manipulação incorporada e até que ponto tal estrutura pode desbloquear capacidades incorporadas em uma ampla gama de modelos de raciocínio. Neste trabalho, apresentamos o Guava, uma estrutura de aproveitamento para uso de ferramentas incorporadas, desenvolvida por meio da exploração sistemática do espaço de design de fluxos de trabalho do agente, espaços de ação e espaços de observação. Nosso estudo identifica três ingredientes-chave para agentes incorporados eficazes: loops iterativos de percepção-raciocínio-ação, abstrações de ação semânticas e observações multimodais. Para entender se esses princípios de design são universais até mesmo para modelos pequenos, desenvolvemos um pipeline de treinamento ponta a ponta que destila capacidades de manipulação incorporada em um modelo de código aberto de 4B usando menos de 2 mil trajetórias coletadas inteiramente em simulação. Resultados experimentais em ambientes simulados e do mundo real mostram desempenho comparável aos modelos proprietários de ponta, exibindo forte generalização para objetos não vistos, instruções inéditas e tarefas de longo horizonte. Os resultados sugerem que uma estrutura bem projetada pode servir como uma interface escalável e independente de modelo para manipulação incorporada, possibilitando fortes capacidades incorporadas emergentes em modelos compactos de código aberto com dados mínimos de treinamento.

English

Language models trained on large-scale vision-language data have demonstrated strong potential for embodied agents. Harnessing models through embodied tools use offers a promising alternative to end-to-end vision-language-action systems by combining high-level reasoning with external modules for perception, planning, and control. However, it remains unclear what makes an effective harness for embodied manipulation, and to what extent such a harness can unlock embodied capabilities in a wide range of reasoning models. In this work, we present Guava, a harness framework for embodied tool use developed through systematic exploration of the design space of agent workflows, action spaces, and observation spaces. Our study identifies three key ingredients for effective embodied agents: iterative perception-reasoning-action loops, semantic action abstractions, and multimodal observations. To understand whether these design principles are universal even to small models, we develop an end-to-end training pipeline that distills embodied manipulation capabilities into a 4B open-source model using fewer than 2K trajectories collected entirely in simulation. Experimental results in both simulation and real-world environments show performance comparable to frontier proprietary models while exhibiting strong generalization to unseen objects, novel instructions, and long-horizon tasks. Results suggest that a well-designed harness can serve as a scalable, model-agnostic interface for embodied manipulation, enabling strong emergent embodied capabilities in compact open-source models with minimal training data.