FreeToken: 帯域適応型実行による効率的なエッジネイティブMoE Serving

要旨

フロンティア級のオープンウェイトモデルはますます入手可能になりつつあるが、その推論実行は依然として大規模にデータセンターインフラを前提としている。本稿では、個人用マシンを単なる小型GPUではなく、統合的で弾力的な推論プラットフォームとして扱う、エッジネイティブなMoE推論システムFreeTokenを提案する。FreeTokenは、モデルの配置とロード、エキスパートの常駐、CPU-GPU実行、エージェント状態の再利用、ランタイムメモリ管理を含む推論スタック全体を、ローカルAIの2つの現実に基づいて共設計している。すなわち、エージェントワークロードは実行パターンを継続的に変化させること、そしてエッジハードウェアはマシンごとにバランスの異なるヘテロジニアスなリソースを備えていることである。固定されたオフロード戦略に依存するのではなく、FreeTokenは計算とモデル状態を実際に利用可能なリソースへと継続的にマッピングする。FreeTokenは、8GBのノートPC向けGPUから単一のワークステーション向けGPUに至るまでのハードウェア上で、20以上のMoEモデルと、実際のコーディングおよびツール使用エージェントをサポートしている。さらに重要なことに、FreeTokenはこれらのマシンが実際に提供可能なモデルを変革する。ノートPCでの35Bモデルから、ゲーミングデスクトップでの284Bモデル、単一のワークステーションGPUでの753BのGLM-5.2までを可能にするのである。FreeTokenはオープンウェイトを展開可能なローカルソフトウェアへと変換し、ユーザーがすでに所有しているマシンをフロンティア規模の知能のための実用的なプラットフォームとする。本システムはflashml.aiにて公開している。

English

Frontier open-weight models are increasingly available, but serving them still largely assumes datacenter infrastructure. We present FreeToken, an edge-native MoE serving system that treats a personal machine not as a small GPU, but as a unified, elastic inference platform. FreeToken co-designs the full serving stack, including model layout and loading, expert residency, CPU--GPU execution, agentic state reuse, and runtime memory management, around two realities of local AI: agent workloads continuously change their execution pattern, and edge hardware exposes heterogeneous resources whose balance differs from machine to machine. Rather than committing to a fixed offloading strategy, FreeToken continuously maps computation and model state onto the resources actually available. FreeToken supports more than 20 MoE models and real coding and tool-using agents across hardware ranging from an 8GB laptop GPU to a single workstation GPU. More importantly, it changes what these machines can practically serve, from a 35B model on a laptop to a 284B model on a gaming desktop and the 753B GLM-5.2 on a single workstation GPU. FreeToken turns open weights into deployable local software, making the machines users already own a practical platform for frontier-scale intelligence. We release the system at flashml.ai.