준비된 코호트: LLM-에이전트 제어에서 GPU 활용 기회의 경계 설정과 호스트 왕복 회피

초록

LLM 에이전트 서비스는 모델 호출과 도구 호출 사이에서 결과 라우팅, 상태 업데이트, 다음 효과 생성을 포함한 작은 결정적 전이를 반복적으로 실행한다. 우리는 이 제어 경로가 GPU 실행에 충분한 동시 작업을 노출하는 조건과, GPU가 계산한 라우팅 결정이 디바이스에 남아 있을 때 무엇이 달라지는지를 묻는다. 고정 분할 점유율(F), 정확한 오프라인 점유율(P*), 로컬 상한(U), 온라인 달성 점유율(A)을 사용하여 준비 코호트 경계를 정식화한다. 서비스 시간이 0이고 용량이 무제한이며 상대적 시작 마감이 동일한 조건에서, 전용 동적 프로그램이 P*를 정확히 계산한다. 고정된 851세션 공개 트레이스 패널의 정상 푸아송 재연에서, 목표 활성 세션 100,000개, K=256, 시작 마감 50ms인 기준 조건은 F=30.19%, P*=43.00%, U=45.85%를 산출한다. 정확한 패킹은 고정 창 경계로 인해 상실된 기회의 81.83%를 회복한다. 결과로부터 파생된 라우팅 키는 조건화 대리 변수일 뿐, 실행 대상의 정체성을 증명하지 않는다. 별도의 메커니즘 연구는 GPU가 계산한 이진 결정을 4바이트로 호스트에 반환하고 재디스패치하는 대신 디바이스에 유지한다. 네 개의 명명된 GPU 배치(placement) 전반에서 디바이스 상주 경로는 36개 구성 모두에서 더 빠르며, 배치 내 행 중앙값 비율은 1.19배에서 2.39배 범위이다. 두 허용 가능한 메커니즘 모두에서 테스트된 14,557,440개의 배치(batch) 호출은 별도로 구현된 호스트 오라클과 일치한다. 호스트 결정을 전혀 제거하지 않는 고정 중첩 디바이스 그래프는 다섯 개 배치(placement)에 걸친 60개 구성 모두에서 더 느리다. 종합하면, 이 연구들은 GPU 에이전트 제어를 위한 두 가지 측정 가능한 게이트, 즉 마감 기한에 맞는 코호트 공급과 관측 위치(placement)를 확립한다. A, CPU 대체(displacement), 서비스 수준 이점을 측정하려면 결합된 유한 온라인 런타임이 필요하다.

English

LLM-agent services repeatedly execute small deterministic transitions between model and tool calls: route an outcome, update state, and emit the next effect. We ask when this control path exposes enough concurrent work for GPU execution, and what changes when a GPU-computed route decision remains on device. We formalize the ready-cohort boundary using fixed-partition share F, exact offline share P*, local upper bound U, and online achieved share A. Under zero service time, unlimited capacity, and equal relative launch deadlines, a specialized dynamic program computes P* exactly. In a stationary Poisson replay of one pinned 851-session public trace panel, the primary condition at 100,000 target active sessions, K=256, and a 50 ms launch deadline gives F=30.19%, P*=43.00%, and U=45.85%. Exact packing recovers 81.83% of the opportunity lost at fixed window boundaries. The outcome-derived route key is a conditioning proxy, not proof of executable identity. A separate mechanism study keeps a GPU-computed binary decision on device instead of returning four bytes to the host and redispatching. Across four named GPU placements, the device-resident path is faster in all 36 configurations; within-placement row-median ratios range from 1.19x to 2.39x. Across both admissible mechanisms, all 14,557,440 tested batched invocations match a separately implemented host oracle. A fixed nested device graph that removes no host decision is slower in all 60 configurations across five placements. Together, the studies establish two measurable gates for GPU agent control: deadline-feasible cohort supply and observation placement. A joined finite online runtime is required to measure A, CPU displacement, and service-level benefit.