Miles v0.1: 프로덕션 수준의 포스트 트레이닝

초록

우리는 프런티어급 포스트 트레이닝을 위한 풀스택 프로덕션 레디 시스템인 Miles v0.1을 제시한다. slime의 깔끔한 설계를 바탕으로, Miles는 강화학습(RL) 훈련 루프의 각 단계를 하나의 원칙, 즉 구성 요소는 검증되어야 하고, 깔끔해야 하며, 사용자 정의가 가능해야 한다는 원칙에 따라 설계한다. 정확도, 효율성, 신뢰성, 확장성을 최우선 목표로 삼아, Miles는 연구자와 기업 모두가 프런티어 규모의 RL에 접근할 수 있도록 하는 것을 목표로 한다. 본 보고서는 시스템 전반을 처음부터 끝까지 살펴본다: SGLang 기반으로 구축된 롤아웃 엔진, 두 가지 백엔드(NVIDIA Megatron-LM 및 PyTorch FSDP) 중 선택할 수 있는 트레이너, 그리고 서로 다른 배포 토폴로지를 위한 세 가지 가중치 동기화 전송 방식이다. 전체 파라미터 RL을 넘어, Miles는 LoRA RL, 온폴리시 증류, 지도 미세조정, true-on-policy 롤아웃-트레이닝 정렬도 지원하며, 동일한 아키텍처를 확산 모델로 확장한다. 끝으로 종단 간 사례 연구를 제시한다: GLM-5.2 744B-A40B 모델에서 터미널 사용 코딩 작업에 대한 완전 비동기 에이전트형 RL을 64개의 NVIDIA GB300 GPU에서 실행했으며, 측정된 첫 30개 스텝 동안 중앙값 스텝 시간은 263초였다. Miles는 https://github.com/radixark/miles에서 오픈소스로 공개되어 있으며, 프로젝트 웹사이트는 https://miles.radixark.com이다.

English

We present Miles v0.1, a full-stack, production-ready system for frontier post-training. Building upon the clean design of slime, Miles designs each stage of the reinforcement-learning (RL) training loop around a single principle: components should be verified, clean, and customizable. With accuracy, efficiency, reliability, and scalability as first-class goals, Miles aims to make frontier-scale RL accessible to researchers and enterprises alike. This report walks through the system end to end: rollout engines built on SGLang, a trainer with a choice of two backends (NVIDIA Megatron-LM and PyTorch FSDP), and three weight-synchronization transports for different deployment topologies. Beyond full-parameter RL, Miles also supports LoRA RL, on-policy distillation, supervised fine-tuning, and true-on-policy rollout-training alignment, and extends the same architecture to diffusion models. We close with an end-to-end case study: fully asynchronous agentic RL on a GLM-5.2 744B-A40B model over terminal-use coding tasks, running on 64 NVIDIA GB300 GPUs with a median step time of 263 seconds over the first 30 measured steps. Miles is open-sourced at https://github.com/radixark/miles, with the project website at https://miles.radixark.com.