Embodied.cpp: Een draagbare inferentieruntime voor belichaamde AI-modellen op heterogene robots

Samenvatting

Belichaamde AI-modellen omvatten nu visie-taal-actie (VLA) modellen en wereld-actie modellen (WAMs), maar de praktische implementatie blijft gefragmenteerd over modelspecifieke Python-stacks, backend-aannames en robot-side lijmcode, vooral op heterogene edge-apparaten. Bestaande inferentie-runtimes zijn voornamelijk ontworpen voor request-response verwerking en voldoen daarom niet aan het runtime-contract van belichaamde implementatie: multi-rate uitvoering in gesloten-lusregeling, latentie-eerst batch-1 inferentie op heterogene hardware, en uitbreidbare belichaamde interfaces voorbij vaste token-I/O. We presenteren Embodied.cpp, een draagbare C++ inferentie-runtime voor belichaamde modellen. Gebaseerd op een architectuuranalyse van representatieve VLA-modellen en WAMs, vat Embodied.cpp een gedeeld uitvoeringspad samen en organiseert dit in vijf lagen: invoeradapters, sequentiebouwers, backbone-uitvoering, head-plugins en implementatie-adapters. De runtime biedt modulaire multi-rate uitvoering, latentie-eerst gefuseerde inferentie en uitbreidbare ondersteuning voor operatoren en I/O, waardoor implementatie op heterogene apparaten, robots en simulatoren mogelijk is via één backend-abstractie. We evalueren Embodied.cpp op twee VLA-modellen, HY-VLA en pi0.5, en op een voorlopige WAM-benchmark met een LingBot-VA Transformer-blok. De VLA-implementaties behalen succesvolle gesloten-lusuitvoering met respectievelijk 100,0% en 91,0% taaksuccespercentages. De WAM-benchmark reduceert het blokgeheugen van 312,2 MiB tot 88,1 MiB. Deze resultaten tonen aan dat Embodied.cpp de implementatie-efficiëntie verbetert terwijl hoge nauwkeurigheid behouden blijft over diverse belichaamde modelarchitecturen.

English

Embodied AI models now span vision-language-action (VLA) models and world-action models (WAMs), but practical deployment remains fragmented across model-specific Python stacks, backend assumptions, and robot-side glue code, especially on heterogeneous edge devices. Existing inference runtimes are designed mainly for request-response serving and therefore do not satisfy the runtime contract of embodied deployment: multi-rate execution inside closed-loop control, latency-first batch-1 inference on heterogeneous hardware, and extensible embodied interfaces beyond fixed token I/O. We present Embodied.cpp, a portable C++ inference runtime for embodied models. Based on an architectural analysis of representative VLA models and WAMs, Embodied.cpp captures a shared execution path and organizes it into five layers: input adapters, sequence builders, backbone execution, head plugins, and deployment adapters. The runtime provides modular multi-rate execution, latency-first fused inference, and extensible operator and I/O support, enabling deployment across heterogeneous devices, robots, and simulators through one backend abstraction. We evaluate Embodied.cpp on two VLA models, HY-VLA and pi0.5, and on a preliminary WAM benchmark using a LingBot-VA Transformer block. The VLA deployments achieve successful closed-loop execution with 100.0% and 91.0% task success rates, respectively. The WAM benchmark reduces block memory from 312.2 MiB to 88.1 MiB. These results show that Embodied.cpp improves deployment efficiency while preserving high accuracy across diverse embodied model architectures.