Guava: een effectief en universeel raamwerk voor belichaamde manipulatie

Samenvatting

Taalmodellen getraind op grootschalige visie-taaldatasets hebben een sterk potentieel aangetoond voor belichaamde agenten. Het inzetten van modellen via belichaamd gereedschapsgebruik biedt een veelbelovend alternatief voor end-to-end visie-taal-actiesystemen door hoge-niveau redeneren te combineren met externe modules voor perceptie, planning en controle. Het blijft echter onduidelijk wat een effectieve harness vormt voor belichaamde manipulatie, en in hoeverre een dergelijke harness belichaamde capaciteiten kan ontsluiten in een breed scala aan redeneermodellen. In dit werk presenteren we Guava, een harness-raamwerk voor belichaamd gereedschapsgebruik, ontwikkeld door systematische verkenning van de ontwerpruimte van agentworkflows, actieruimtes en observatieruimtes. Onze studie identificeert drie belangrijke ingrediënten voor effectieve belichaamde agenten: iteratieve perceptie-redeneren-actielussen, semantische actieabstracties en multimodale observaties. Om te begrijpen of deze ontwerpprincipes universeel zijn, zelfs voor kleine modellen, ontwikkelen we een end-to-end trainingspijplijn die belichaamde manipulatiecapaciteiten destilleert in een open-source model van 4B parameter met minder dan 2K trajecten, volledig verzameld in simulatie. Experimentele resultaten in zowel simulatie- als echte omgevingen tonen prestaties die vergelijkbaar zijn met geavanceerde propriëtaire modellen, terwijl ze sterke generalisatie vertonen naar ongeziene objecten, nieuwe instructies en taken met een lange horizon. De resultaten suggereren dat een goed ontworpen harness kan dienen als een schaalbaar, model-agnostisch interface voor belichaamde manipulatie, waardoor sterke emergente belichaamde capaciteiten mogelijk worden in compacte open-source modellen met minimale trainingsdata.

English

Language models trained on large-scale vision-language data have demonstrated strong potential for embodied agents. Harnessing models through embodied tools use offers a promising alternative to end-to-end vision-language-action systems by combining high-level reasoning with external modules for perception, planning, and control. However, it remains unclear what makes an effective harness for embodied manipulation, and to what extent such a harness can unlock embodied capabilities in a wide range of reasoning models. In this work, we present Guava, a harness framework for embodied tool use developed through systematic exploration of the design space of agent workflows, action spaces, and observation spaces. Our study identifies three key ingredients for effective embodied agents: iterative perception-reasoning-action loops, semantic action abstractions, and multimodal observations. To understand whether these design principles are universal even to small models, we develop an end-to-end training pipeline that distills embodied manipulation capabilities into a 4B open-source model using fewer than 2K trajectories collected entirely in simulation. Experimental results in both simulation and real-world environments show performance comparable to frontier proprietary models while exhibiting strong generalization to unseen objects, novel instructions, and long-horizon tasks. Results suggest that a well-designed harness can serve as a scalable, model-agnostic interface for embodied manipulation, enabling strong emergent embodied capabilities in compact open-source models with minimal training data.