Vesta: 범용 체화된 추론 모델

초록

개방형 환경에서 작동하는 로봇은 위치 추정, 공간 추론, 항법 및 장기 계획을 원활하게 통합해야 한다. 전문가 모델은 개별 작업에서 뛰어난 성능을 보이지만, 다중 모델 스택을 배포하는 것은 계산 비용이 많이 들고 연쇄 오류가 발생하기 쉽다. 본 논문에서는 이러한 기능들을 단일 기초 모델로 통합한 통합형 체화된 범용 모델인 Vesta를 제안한다. 우리의 접근 방식은 공간적 기반을 유도하도록 설계된 다양하고 방대한 큐레이션 코퍼스와 장기적인 시간 범위에 걸친 추론을 가능하게 하는 간단한 다중 모달 메모리 하네스를 결합한다. 다양한 벤치마크에서 Vesta는 개별 최고 수준(SOTA) 기준선보다 평균 20% 이상 앞서며, 범주별 최고 기준선의 앙상블보다 10% 이상 우수한 성능을 보여준다. 이는 범용 모델이 전문가 모델과 동등하거나 이를 능가할 수 있음을 입증한다. 메모리와 추론이 필요한 실제 로봇 작업에서 Vesta는 작업 성공률을 35% 이상 향상시킨다. 따라서 본 연구는 단일 범용 모델이 전문가 모델을 결합하는 것에 비해 실현 가능하고 확장 가능하며 바람직한 대안임을 보여준다.

English

Robots operating in open-world environments must seamlessly integrate localization, spatial reasoning, navigation, and long-horizon planning. While specialist models excel at individual tasks, deploying a multi-model stack is computationally expensive and prone to cascading errors. We present Vesta, a unified embodied generalist that consolidates these capabilities into a single foundation model. Our approach combines a diverse and massive curated corpus designed to induce spatial grounding and a simple multimodal memory harness that enables reasoning over extended time horizons. Across diverse benchmarks, Vesta on average beats individual SOTA baselines by >20% and beats an ensemble of per-category-best baselines by >10% -- thus demonstrating that a generalist model can match or exceed specialists. On real-world robotic tasks requiring memory and reasoning, Vesta improves task success by >35\%. Our work thus demonstrates that a single generalist is a feasible, scalable, and arguably preferable alternative to combining specialists.