Guava: Ein effektives und universelles Werkzeug für die Embodied Manipulation

Zusammenfassung

Sprachmodelle, die auf großen visuell-linguistischen Datensätzen trainiert wurden, haben ein starkes Potenzial für verkörperte Agenten (Embodied Agents) gezeigt. Die Nutzung solcher Modelle durch den Einsatz verkörperter Werkzeuge bietet eine vielversprechende Alternative zu End-to-End-Vision-Language-Action-Systemen, indem sie hochrangige Schlussfolgerung (Reasoning) mit externen Modulen für Wahrnehmung, Planung und Steuerung kombiniert. Es bleibt jedoch unklar, was eine effektive Kopplung (Harness) für verkörperte Manipulation ausmacht und inwieweit eine solche Kopplung verkörperte Fähigkeiten in einer Vielzahl von Reasoning-Modellen freisetzen kann. In dieser Arbeit stellen wir Guava vor, ein Rahmenwerk (Harness Framework) für den Einsatz verkörperter Werkzeuge, das durch systematische Erkundung des Gestaltungsraums von Agenten-Workflows, Aktionsräumen und Beobachtungsräumen entwickelt wurde. Unsere Studie identifiziert drei wesentliche Bestandteile für effektive verkörperte Agenten: iterative Wahrnehmungs-Schlussfolgerungs-Handlungs-Schleifen, semantische Aktionsabstraktionen und multimodale Beobachtungen. Um zu verstehen, ob diese Gestaltungsprinzipien selbst für kleine Modelle universell gültig sind, entwickeln wir eine End-to-End-Trainingspipeline, die verkörperte Manipulationsfähigkeiten in ein quelloffenes 4B-Modell destilliert, wobei weniger als 2000 vollständig in der Simulation erfasste Trajektorien verwendet werden. Experimentelle Ergebnisse sowohl in Simulations- als auch in realen Umgebungen zeigen eine mit führenden proprietären Modellen vergleichbare Leistung und weisen eine starke Generalisierung auf unbekannte Objekte, neuartige Anweisungen und langfristige Aufgaben auf. Die Ergebnisse deuten darauf hin, dass ein gut gestaltetes Rahmenwerk als skalierbare, modellunabhängige Schnittstelle für verkörperte Manipulation dienen kann, die bei kompakten quelloffenen Modellen mit minimalen Trainingsdaten starke emergente verkörperte Fähigkeiten ermöglicht.

English

Language models trained on large-scale vision-language data have demonstrated strong potential for embodied agents. Harnessing models through embodied tools use offers a promising alternative to end-to-end vision-language-action systems by combining high-level reasoning with external modules for perception, planning, and control. However, it remains unclear what makes an effective harness for embodied manipulation, and to what extent such a harness can unlock embodied capabilities in a wide range of reasoning models. In this work, we present Guava, a harness framework for embodied tool use developed through systematic exploration of the design space of agent workflows, action spaces, and observation spaces. Our study identifies three key ingredients for effective embodied agents: iterative perception-reasoning-action loops, semantic action abstractions, and multimodal observations. To understand whether these design principles are universal even to small models, we develop an end-to-end training pipeline that distills embodied manipulation capabilities into a 4B open-source model using fewer than 2K trajectories collected entirely in simulation. Experimental results in both simulation and real-world environments show performance comparable to frontier proprietary models while exhibiting strong generalization to unseen objects, novel instructions, and long-horizon tasks. Results suggest that a well-designed harness can serve as a scalable, model-agnostic interface for embodied manipulation, enabling strong emergent embodied capabilities in compact open-source models with minimal training data.