JoyNexus: VLA 모델을 위한 서비스 지향 다중 테넌트 후속 학습

초록

VLA(비전-언어-행동) 모델의 사후 학습은 시뮬레이터, 로봇 구현체 및 작업 목표의 다양성으로 인해 필수적이다. 기존의 컴퓨팅 서비스는 직접 가속기 임대 또는 배치 작업 제출 방식으로 제공되든, 일반적으로 단일 테넌트에게 독점적인 GPU 및 CPU 리소스 세트를 할당한다. 이러한 패러다임은 클라이언트의 유연성을 최대화하지만, 사용자에게 인프라 적응에 대한 부담을 주며, 고정 카드-시간 과금 모델은 짧거나 폭발적인 워크로드를 테넌트에게는 비싸고 서비스 제공자에게는 비효율적으로 만든다. 이러한 문제를 해결하기 위해, 우리는 다중 테넌트 VLA 지도 미세 조정, 강화 학습 및 평가를 위한 통합 서비스인 JoyNexus를 제시한다. JoyNexus는 학습 모델 서비스, 추론 모델 서비스 및 환경 서비스를 분리하며, 각각은 API를 통해 접근되고 상주하는 공유 기본 모델과 테넌트별 슬롯으로 지원된다. 테넌트는 학습, 롤아웃 및 평가를 위한 고수준 의미론적 API를 직접 호출하거나, 저수준 API와 할당된 엔드포인트를 사용하여 사용자 정의 알고리즘을 구성할 수 있다. 여러 테넌트가 동시에 워크로드를 제출하며, 그들의 행동 모듈, 옵티마이저, 롤아웃 기록 및 정책 버전은 격리된 상태를 유지하고, 서비스는 전역 학습 큐와 추론 큐에 의해 스케줄링된다. 다중 테넌트 학습 효율성을 더욱 개선하기 위해, JoyNexus는 호환 가능한 모델 방향 접두사를 공유하는 이종 VLA 데이터 스키마에 대한 그룹 배칭을 도입하여, 그룹화된 샘플에 대해 단일 공유 백본 순전파를 가능하게 한다. 마지막으로, 우리는 워크로드 시뮬레이션과 실제적인 구현 시나리오에서의 그룹 배칭 파이프라인을 통해 JoyNexus를 평가한다. 결과는 격리된 단일 테넌트 실행에 비해, JoyNexus가 공유 리소스에 대한 교차 테넌트 스케줄링을 통해 총 GPU 시간을 줄이고 서비스 활용률을 향상시킴을 보여준다.

English

The post-training of Vision-Language-Action (VLA) models is essential due to the diversity of simulators, robot embodiments, and task objectives. Existing compute services, whether offered as direct accelerator rental or batch-workload submission, typically allocate an exclusive set of GPU and CPU resources to a single tenant. While this paradigm maximizes client flexibility, it burdens users with infrastructure adaptation, and the fixed card-hour accounting model renders short or bursty workloads both expensive for tenants and inefficient for the service provider. To address these challenges, we present JoyNexus, a unified service for multi-tenant VLA supervised fine-tuning, reinforcement learning, and evaluation. JoyNexus decouples the Training Model Service, Inference Model Service, and Environment Service, each accessed through APIs and backed by resident shared base models with tenant-specific slots. Tenants can directly invoke high-level semantic APIs for training, rollout, and evaluation, or compose custom algorithms using lower-level APIs and their assigned endpoints. Multiple tenants submit workloads concurrently; their action modules, optimizers, rollout records, and policy versions remain isolated, and the service is scheduled by the global Training Queue and Inference Queue. To further improve multi-tenant training efficiency, JoyNexus introduces group batching for heterogeneous VLA data schemas that share a compatible model-facing prefix, enabling a single shared backbone forward pass over grouped samples. Finally, we evaluate JoyNexus through workload simulation and a group-batching pipeline in a realistic embodied scenario. Results show that, compared with isolated single-tenant execution, JoyNexus reduces aggregate GPU time and improves service utilization via cross-tenant scheduling on shared resources.