FocusMem: 潜在GUIメモリにおけるコンテンツ、リードアウト、信頼の分解

要旨

GUIエージェントは、以前のタスクから得た有用な経験と、現在の対話における未完了の進捗の両方を記憶する必要がある。潜在記憶は、マルチモーダルな軌跡を少数の連続トークンへと圧縮することで、コンパクトな解決策を提供する。しかし、既存手法は通常、各軌跡を単一の固定メモリブロックに対応付け、主に次の行動に対する教師信号を通じてこれを訓練する。このため、圧縮中に重要な詳細が失われる可能性がある、同じメモリブロックが異なる決定段階に役立たなければならない、無関係に検索された軌跡がエージェントを誤らせ得る、という三つの実用的な問題が生じる。我々は、コンパクトな潜在記憶インターフェース内でこれらの役割を分離するFocusMemを提案する。役割を考慮したコンテンツ基底により、エピソード記憶は再利用可能な経験を保持し、作業記憶はタスクの進捗を保持することが促進される。状態条件付き読み出しは、保存された同じ証拠に対して決定固有のビューを生成し、軽量な信頼ゲートは現在のステップに無関係と思われるメモリブロックを抑制できる。すべてのコンポーネントは、GUIポリシーを凍結したまま訓練される。5つのGUIエージェントベンチマークにおいて、FocusMemは、完全に条件を一致させた行動のみの固定メモリベースラインおよび従来の潜在記憶適応手法を一貫して上回る。さらなる分析により、意味的および機能的な教師信号が補完的な情報を保持すること、状態条件付き読み出しは周囲の軌跡コンテキストが増えるほど頑健になること、信頼ゲートは注入された無関係なエピソード証拠による悪影響を低減することが示される。これらの結果は、効果的な潜在記憶が、過去の相互作用の圧縮だけでなく、何を保持するか、何を露出するか、何を許可するかにも依存することを示している。

English

GUI agents must remember both useful experience from earlier tasks and unfinished progress in the current interaction. Latent memory offers a compact solution by compressing multimodal trajectories into a few continuous tokens. Existing methods, however, usually map each trajectory to one fixed memory block and train it mainly through next-action supervision. This creates three practical problems: important details may be lost during compression, the same memory block must serve different decision stages, and irrelevant retrieved trajectories may still mislead the agent. We introduce FocusMem, which separates these responsibilities within a compact latent-memory interface. A role-aware content basis encourages episodic memory to retain reusable experience and working memory to retain task progress. A state-conditioned readout generates a decision-specific view of the same stored evidence, while a lightweight trust gate can suppress memory blocks that appear irrelevant to the current step. All components are trained while the GUI policy remains frozen. Across five GUI-agent benchmarks, FocusMem consistently outperforms a fully matched action-only fixed-memory baseline and prior latent memory adaptations. Further analysis shows that semantic and functional supervision preserve complementary information, state-conditioned readout is more robust as surrounding trajectory context grows, and the trust gate reduces the harm caused by injected irrelevant episodic evidence. These results show that effective latent memory depends not only on compressing past interaction, but also on what is retained, what is exposed, and what is allowed.