활동 프레임: 에이전트 메모리 및 재생을 위한 결정적 화면 활동 컴파일

초록

컴퓨터 사용 에이전트는 사용자가 이미 수행한 루틴을 재도출하기 위해 최첨단 추론(frontier inference) 비용 전체를 지불한다. 오늘날 에이전트의 메모리는 사용자가 말한 것을 기록할 뿐, 사용자가 실제로 한 행동을 기록하지 않기 때문이다. 우리는 결정적(deterministic) 제로-모델 파이프라인을 통해 수동적으로 캡처된 화면 활동을 에이전트 메모리로 컴파일한다. 이 파이프라인은 로컬 캡처 스트림을 유형화된 활동 프레임(typed activity frames), 즉 애플리케이션, 사이트, 타이밍, 입력량, 그리고 원시 행으로의 증거 포인터를 포함하는 경계화된(bounded) 에피소드들로 분할한다. 루프에 모델이 개입하지 않으므로 출력은 바이트 단위로 동일하며, 캐시 가능하고 기계적으로 감사 가능하다. 51일의 활성 사용 기간 동안 수집된 128,756개 프레임으로 구성된 한 전문가의 단일 사용자 코퍼스에서, 컴파일러는 하루 분량의 원시 캡처를 68ms 만에 86배 더 작은 프롬프트 준비 완료 컨텍스트 블록으로 축소한다. 해당 블록을 읽는 에이전트는 독립적인 오라클 대비 그날에 관한 질문에 98.4%의 정확도(윌슨 95% 신뢰구간 91.7-99.7%)로 응답하며, 이는 동일 캡처의 LLM 요약을 읽는 경우의 66-80%보다 높은 수치이다. 블록을 읽는 중급 모델은 최첨단 모델과 동등한 성능을 보인다. 동일한 컴파일러는 수요 측면 비용 도구로도 기능한다. 에이전트 롤아웃(rollout)이 아닌 위임 이전의 수동적 인간 활동으로부터 판독함으로써, 에이전트 비용 모델이 가정하지만 우리가 아는 한 아직 측정된 적 없는 두 매개변수, 즉 루틴 오버헤드 비율 R과 루틴 재발률 h를 제공한다. 우리는 모델링된 상한인 R의 첫 값을 60-343배로 보고하며, 위임 가능한 재발률은 표본 내 9.0%, 표본 외 7.7%로 나타나 현실적인 전체 플릿(fleet) 토큰 상한이 8%에 근접한다. 컴파일된 루틴은 모델이 루프에서 제외된 채 결정적으로 재생되며, 가드 일치 적중(guard-matched hit)에서 제로 모델 토큰으로 실시간 시연되었다. 스키마, 컴파일러 및 평가 하네스(harness)는 모두 공개되어 있다.

English

Computer-use agents pay full frontier inference to re-derive routines their user has already performed, because an agent's memory today records what the user said, not what the user did. We compile passively captured screen activity into agent memory with a deterministic, zero-model pipeline: it segments a local capture stream into typed activity frames, bounded episodes carrying application, site, timing, input volume, and evidence pointers back to the raw rows, with no model in the loop, so the output is byte-identical, cacheable, and mechanically auditable. On one professional's single-user corpus of 128,756 frames over 51 active days, the compiler reduces a day of raw capture to a prompt-ready context block 86x smaller in 68 ms, and an agent reading that block answers questions about the day at 98.4% accuracy (Wilson 95% CI 91.7-99.7%) against an independent oracle, versus 66-80% for an LLM summary of the same capture, a mid-tier model reading the block matching a frontier one. The same compiler doubles as a demand-side cost instrument. Read off passive, pre-delegation human activity rather than agent rollouts, it supplies two parameters that agent-cost models assume but, to our knowledge, have not measured: the Routine Overhead Ratio R and the routine recurrence h. We report first values of R, a modeled upper bound, at 60-343x, and a delegable recurrence of 9.0% in-sample and 7.7% out-of-sample, for a realistic all-fleet token ceiling near 8%; a compiled routine replays deterministically with the model out of the loop, demonstrated live at zero model tokens on a guard-matched hit. Schema, compiler, and evaluation harness are open.