FreeToken: 대역폭 적응형 실행을 통한 효율적인 엣지 네이티브 MoE 서빙

초록

최첨단 오픈웨이트 모델의 이용 가능성은 점점 높아지고 있지만, 이를 서빙하는 환경은 여전히 대부분 데이터센터 인프라를 전제로 한다. 본 논문에서는 개인용 머신을 작은 GPU가 아닌 통합적이고 탄력적인 추론 플랫폼으로 간주하는 엣지 네이티브 MoE 서빙 시스템인 FreeToken을 제시한다. FreeToken은 모델 레이아웃 및 로딩, 전문가 상주, CPU-GPU 실행, 에이전트 상태 재사용, 런타임 메모리 관리를 포함한 전체 서빙 스택을 로컬 AI의 두 가지 현실에 맞춰 공동 설계한다: 에이전트 워크로드는 실행 패턴을 지속적으로 변화시키며, 엣지 하드웨어는 머신마다 균형이 다른 이종 리소스를 노출한다는 점이다. FreeToken은 고정된 오프로딩 전략을 고수하는 대신, 실제로 사용 가능한 리소스에 계산과 모델 상태를 지속적으로 매핑한다. FreeToken은 8GB 랩톱 GPU부터 단일 워크스테이션 GPU에 이르는 하드웨어에서 20개 이상의 MoE 모델과 실제 코딩 및 도구 사용 에이전트를 지원한다. 더 중요하게도, 이는 이러한 머신들이 실질적으로 서빙할 수 있는 범위를 변화시킨다: 랩톱에서 35B 모델, 게이밍 데스크톱에서 284B 모델, 단일 워크스테이션 GPU에서 753B GLM-5.2까지다. FreeToken은 오픈 웨이트를 배포 가능한 로컬 소프트웨어로 전환하여, 사용자가 이미 보유한 머신을 프론티어 수준의 지능을 위한 실용적인 플랫폼으로 만든다. 우리는 flashml.ai에서 이 시스템을 공개한다.

English

Frontier open-weight models are increasingly available, but serving them still largely assumes datacenter infrastructure. We present FreeToken, an edge-native MoE serving system that treats a personal machine not as a small GPU, but as a unified, elastic inference platform. FreeToken co-designs the full serving stack, including model layout and loading, expert residency, CPU--GPU execution, agentic state reuse, and runtime memory management, around two realities of local AI: agent workloads continuously change their execution pattern, and edge hardware exposes heterogeneous resources whose balance differs from machine to machine. Rather than committing to a fixed offloading strategy, FreeToken continuously maps computation and model state onto the resources actually available. FreeToken supports more than 20 MoE models and real coding and tool-using agents across hardware ranging from an 8GB laptop GPU to a single workstation GPU. More importantly, it changes what these machines can practically serve, from a 35B model on a laptop to a 284B model on a gaming desktop and the 753B GLM-5.2 on a single workstation GPU. FreeToken turns open weights into deployable local software, making the machines users already own a practical platform for frontier-scale intelligence. We release the system at flashml.ai.