レディ・コホート：LLMエージェント制御におけるGPU機会の制限とホスト往復の回避

要旨

LLMエージェントサービスは、モデル呼び出しとツール呼び出しの間で、小さな決定論的遷移を繰り返し実行する。すなわち、結果をルーティングし、状態を更新し、次の効果を発行する。本稿では、この制御経路がGPU実行に十分な並行作業をいつ露出させるのか、そしてGPUで計算された経路決定がデバイス上に留まると何が変わるのかを問う。実行準備完了コホート境界を、固定分割シェアF、正確なオフラインシェアP*、局所的上界U、オンライン達成シェアAを用いて形式化する。サービス時間ゼロ、無制限容量、等しい相対起動期限の下では、特化した動的計画法がP*を正確に計算する。固定された1つの851セッションの公開トレースパネルの定常ポアソンリプレイにおいて、ターゲットアクティブセッション数100,000、K=256、起動期限50msの主要条件では、F=30.19%、P*=43.00%、U=45.85%となる。正確なパッキングは、固定ウィンドウ境界で失われた機会の81.83%を回復する。結果から導出された経路キーは条件付けの代理指標であり、実行可能な処理の同一性の証明ではない。別のメカニズム研究では、GPUで計算されたバイナリ決定を、ホストに4バイトを返して再ディスパッチする代わりに、デバイス上に保持する。4つの名前付きGPU配置のすべてにおいて、デバイス常駐パスは全36構成でより高速であり、同一配置内の行中央値比は1.19倍から2.39倍の範囲である。許容可能な両メカニズムの双方において、テストされた14,557,440件すべてのバッチ呼び出しは、別途実装されたホストオラクルと一致する。ホスト決定を一切除去しない固定ネストデバイスグラフは、5つの配置にわたる全60構成でより低速である。これらの研究は合わせて、GPUエージェント制御のための2つの測定可能なゲート、すなわち期限実行可能なコホート供給と観測配置を確立する。A、CPU処理の置換、およびサービスレベル上の利益を測定するには、統合された有限のオンラインランタイムが必要である。

English

LLM-agent services repeatedly execute small deterministic transitions between model and tool calls: route an outcome, update state, and emit the next effect. We ask when this control path exposes enough concurrent work for GPU execution, and what changes when a GPU-computed route decision remains on device. We formalize the ready-cohort boundary using fixed-partition share F, exact offline share P*, local upper bound U, and online achieved share A. Under zero service time, unlimited capacity, and equal relative launch deadlines, a specialized dynamic program computes P* exactly. In a stationary Poisson replay of one pinned 851-session public trace panel, the primary condition at 100,000 target active sessions, K=256, and a 50 ms launch deadline gives F=30.19%, P*=43.00%, and U=45.85%. Exact packing recovers 81.83% of the opportunity lost at fixed window boundaries. The outcome-derived route key is a conditioning proxy, not proof of executable identity. A separate mechanism study keeps a GPU-computed binary decision on device instead of returning four bytes to the host and redispatching. Across four named GPU placements, the device-resident path is faster in all 36 configurations; within-placement row-median ratios range from 1.19x to 2.39x. Across both admissible mechanisms, all 14,557,440 tested batched invocations match a separately implemented host oracle. A fixed nested device graph that removes no host decision is slower in all 60 configurations across five placements. Together, the studies establish two measurable gates for GPU agent control: deadline-feasible cohort supply and observation placement. A joined finite online runtime is required to measure A, CPU displacement, and service-level benefit.