Guava: Эффективная и универсальная система для воплощенной манипуляции

Аннотация

Языковые модели, обученные на крупномасштабных данных в модальностях зрения и языка, продемонстрировали значительный потенциал для воплощенных агентов. Интеграция моделей через использование воплощенных инструментов предлагает многообещающую альтернативу сквозным системам зрения-языка-действия, сочетая рассуждения высокого уровня с внешними модулями для восприятия, планирования и управления. Однако остается неясным, что делает такую интеграцию эффективной для воплощенных манипуляций и в какой степени она может раскрыть воплощенные способности в широком спектре моделей рассуждения. В данной работе мы представляем Guava — фреймворк для интеграции воплощенных инструментов, разработанный в ходе систематического исследования пространства проектирования агентных рабочих процессов, пространств действий и пространств наблюдений. Наше исследование выявляет три ключевых компонента эффективных воплощенных агентов: итеративные циклы восприятия-рассуждения-действия, семантические абстракции действий и мультимодальные наблюдения. Чтобы понять, являются ли эти принципы проектирования универсальными даже для малых моделей, мы разрабатываем сквозной конвейер обучения, который дистиллирует способности к воплощенным манипуляциям в компактную модель с открытым исходным кодом объемом 4B, используя менее 2K траекторий, полностью собранных в симуляции. Экспериментальные результаты как в симуляции, так и в реальных средах демонстрируют производительность, сопоставимую с передовыми проприетарными моделями, при этом проявляя сильную способность к обобщению на невидимые объекты, новые инструкции и долгосрочные задачи. Результаты показывают, что хорошо спроектированная интеграция может служить масштабируемым, модельно-независимым интерфейсом для воплощенных манипуляций, обеспечивая сильные возникающие воплощенные способности в компактных моделях с открытым исходным кодом при минимальном объеме обучающих данных.

English

Language models trained on large-scale vision-language data have demonstrated strong potential for embodied agents. Harnessing models through embodied tools use offers a promising alternative to end-to-end vision-language-action systems by combining high-level reasoning with external modules for perception, planning, and control. However, it remains unclear what makes an effective harness for embodied manipulation, and to what extent such a harness can unlock embodied capabilities in a wide range of reasoning models. In this work, we present Guava, a harness framework for embodied tool use developed through systematic exploration of the design space of agent workflows, action spaces, and observation spaces. Our study identifies three key ingredients for effective embodied agents: iterative perception-reasoning-action loops, semantic action abstractions, and multimodal observations. To understand whether these design principles are universal even to small models, we develop an end-to-end training pipeline that distills embodied manipulation capabilities into a 4B open-source model using fewer than 2K trajectories collected entirely in simulation. Experimental results in both simulation and real-world environments show performance comparable to frontier proprietary models while exhibiting strong generalization to unseen objects, novel instructions, and long-horizon tasks. Results suggest that a well-designed harness can serve as a scalable, model-agnostic interface for embodied manipulation, enabling strong emergent embodied capabilities in compact open-source models with minimal training data.