FocusMem: 잠재 GUI 메모리에서 콘텐츠, 리드아웃, 신뢰의 분해

초록

GUI 에이전트는 이전 작업에서 얻은 유용한 경험과 현재 상호작용에서 완료되지 않은 진행 상황을 모두 기억해야 한다. 잠재 메모리는 다중 모달 궤적을 소수의 연속 토큰으로 압축하여 간결한 해법을 제공한다. 그러나 기존 방법들은 대개 각 궤적을 하나의 고정 메모리 블록에 매핑하고 주로 다음 행동 지도를 통해 학습한다. 이로 인해 세 가지 실질적 문제가 발생한다: 압축 중 중요한 세부 정보가 손실될 수 있고, 동일한 메모리 블록이 서로 다른 의사 결정 단계에 사용되어야 하며, 관련 없는 검색 궤적이 에이전트를 오도할 수 있다. 우리는 이러한 역할들을 간결한 잠재 메모리 인터페이스 내에서 분리하는 FocusMem을 제안한다. 역할 인식 콘텐츠 기반은 일화 기억이 재사용 가능한 경험을 유지하고 작업 기억이 작업 진행 상황을 유지하도록 장려한다. 상태 조건부 판독은 동일한 저장 증거에 대해 의사 결정별 관점을 생성하며, 경량 신뢰 게이트는 현재 단계와 무관해 보이는 메모리 블록을 억제할 수 있다. 모든 구성 요소는 GUI 정책이 동결된 상태에서 학습된다. 다섯 개의 GUI 에이전트 벤치마크에서 FocusMem은 완전히 일치된 행동 전용 고정 메모리 기준선 및 기존 잠재 메모리 적응 기법들을 일관되게 능가한다. 추가 분석은 의미적 및 기능적 지도가 상호 보완적 정보를 보존하고, 상태 조건부 판독이 주변 궤적 맥락이 커질수록 더 강건해지며, 신뢰 게이트가 주입된 무관한 일화 증거로 인한 피해를 줄임을 보여준다. 이러한 결과는 효과적인 잠재 메모리가 과거 상호작용의 압축뿐만 아니라 무엇이 유지되고, 무엇이 노출되며, 무엇이 허용되는지에도 의존함을 보여준다.

English

GUI agents must remember both useful experience from earlier tasks and unfinished progress in the current interaction. Latent memory offers a compact solution by compressing multimodal trajectories into a few continuous tokens. Existing methods, however, usually map each trajectory to one fixed memory block and train it mainly through next-action supervision. This creates three practical problems: important details may be lost during compression, the same memory block must serve different decision stages, and irrelevant retrieved trajectories may still mislead the agent. We introduce FocusMem, which separates these responsibilities within a compact latent-memory interface. A role-aware content basis encourages episodic memory to retain reusable experience and working memory to retain task progress. A state-conditioned readout generates a decision-specific view of the same stored evidence, while a lightweight trust gate can suppress memory blocks that appear irrelevant to the current step. All components are trained while the GUI policy remains frozen. Across five GUI-agent benchmarks, FocusMem consistently outperforms a fully matched action-only fixed-memory baseline and prior latent memory adaptations. Further analysis shows that semantic and functional supervision preserve complementary information, state-conditioned readout is more robust as surrounding trajectory context grows, and the trust gate reduces the harm caused by injected irrelevant episodic evidence. These results show that effective latent memory depends not only on compressing past interaction, but also on what is retained, what is exposed, and what is allowed.