アクティビティフレーム：エージェントのメモリとリプレイのための決定的な画面アクティビティコンパイル

要旨

コンピュータ利用エージェントは、ユーザーがすでに実行したルーチンを再導出するために、フロンティアモデルによる推論コストをすべて負担している。というのも、今日のエージェントのメモリは、ユーザーが「言った」ことを記録しても、「行った」ことを記録しないからである。我々は、受動的にキャプチャされた画面アクティビティを、決定論的かつモデルを一切使用しない（ゼロモデル）パイプラインでエージェントメモリにコンパイルする。このパイプラインは、ローカルのキャプチャストリームを型付きアクティビティフレーム、すなわちアプリケーション、サイト、タイミング、入力量、および生の行へのエビデンスポインタを保持する有界エピソードに分割する。ループ内にモデルが存在しないため、出力はバイト単位で同一となり、キャッシュ可能で、機械的に監査可能である。ある専門職1名のシングルユーザーコーパス（51活動日、128,756フレーム）において、コンパイラは1日分の生キャプチャを、68ミリ秒で86分の1のサイズのプロンプト対応コンテキストブロックに削減し、そのブロックを読んだエージェントは、独立したオラクルを基準として、その日の質問に対して98.4%の精度（ウィルソンの95%信頼区間91.7-99.7%）で回答した。同じキャプチャのLLM要約では66〜80%であり、ブロックを読む中位のモデルはフロンティアモデルに匹敵した。この同じコンパイラは、需要側のコスト測定手段としても機能する。エージェントのロールアウトではなく、委任前の受動的な人間の活動から読み取ることで、エージェントコストモデルが仮定しているが、我々の知る限り測定されていない2つのパラメータ、すなわちルーチンオーバーヘッド比Rとルーチン反復率hを提供する。我々は、モデル化された上限であるRの最初の値として60〜343倍を報告し、委任可能な反復率としてサンプル内9.0%、サンプル外7.7%を報告する。これにより、現実的な全フリートのトークン上限は約8%となる。コンパイルされたルーチンは、モデルをループ外にして決定論的に再生され、ガード一致ヒットではゼロモデルトークンでのライブ実演が行われた。スキーマ、コンパイラ、評価ハーネスは公開されている。

English

Computer-use agents pay full frontier inference to re-derive routines their user has already performed, because an agent's memory today records what the user said, not what the user did. We compile passively captured screen activity into agent memory with a deterministic, zero-model pipeline: it segments a local capture stream into typed activity frames, bounded episodes carrying application, site, timing, input volume, and evidence pointers back to the raw rows, with no model in the loop, so the output is byte-identical, cacheable, and mechanically auditable. On one professional's single-user corpus of 128,756 frames over 51 active days, the compiler reduces a day of raw capture to a prompt-ready context block 86x smaller in 68 ms, and an agent reading that block answers questions about the day at 98.4% accuracy (Wilson 95% CI 91.7-99.7%) against an independent oracle, versus 66-80% for an LLM summary of the same capture, a mid-tier model reading the block matching a frontier one. The same compiler doubles as a demand-side cost instrument. Read off passive, pre-delegation human activity rather than agent rollouts, it supplies two parameters that agent-cost models assume but, to our knowledge, have not measured: the Routine Overhead Ratio R and the routine recurrence h. We report first values of R, a modeled upper bound, at 60-343x, and a delegable recurrence of 9.0% in-sample and 7.7% out-of-sample, for a realistic all-fleet token ceiling near 8%; a compiled routine replays deterministically with the model out of the loop, demonstrated live at zero model tokens on a guard-matched hit. Schema, compiler, and evaluation harness are open.