人間の購買行動の忠実なシミュレーションに向けて

要旨

現実的なユーザーの購買行動のシミュレーションは、Eコマースシナリオにおけるオフライン評価と強化学習の基盤となる。近年、LLMおよびVLMに基づくシミュレータは有望な進展を見せているが、実際のブラウジングセッションを再現することは、以下の2つの理由から依然として困難である。(i) メモリの課題：ショッピングセッションは数十ページにわたるにもかかわらず、既存のエージェントは長期的な観測履歴を破棄して変化するユーザー状態を失うか、あるいはそれらを単純に連結してコンテキストウィンドウを圧迫し、シミュレーション品質をも損なうかのいずれかである。(ii) 最適化の課題：現在のユーザーシミュレータは通常、模倣学習やステップ単位の報酬によって各記録済み行動を一致させるように教師あり学習される。その結果得られるセッションは、過剰探索や過度の受動性などの非現実的なパターンを呈することが多く、ステップ単位の教師信号ではこうしたパターンを検出することも修正することもできない。上記の課題に対処するため、我々はRecVerseを提案する。RecVerseは、スクリーンショットを通じてページを認識し、忠実なマルチターン軌跡を生成するGUI基盤のシミュレーションエージェントである。メモリの課題に対して、RecVerseは認知科学に着想を得た階層的メモリを採用する。すなわち、短期的な焦点のための作業記憶、セッション内の軌跡のためのエピソード記憶、高レベルの意図のための選好記憶であり、メモリ更新を行動として扱うことで、エージェントはいつ何を記憶すべきかを適応的に学習する。最適化の課題に対して、RecVerseはセッション全体を評価する軌跡レベルの強化学習目的関数を用いて最適化され、マクロレベルの行動タイプ分布とミクロレベルの購買意図の両方を実際のユーザーと整合させる。さらに我々は、マルチターンのユーザーシミュレーションのためのインタラクティブなEコマースGUI軌跡データセットであるUSB（User Simulation Benchmark）を公開する。実験により、RecVerseが行動の忠実度と意図の一貫性の両方において既存のベースラインを大幅に上回ることが示された。

English

Simulating realistic user shopping behavior underpins offline evaluation and reinforcement learning in e-commerce scenarios. While recent LLM- and VLM-based simulators have made encouraging progress, reproducing a real browsing session remains difficult for two reasons. (i) Memory Challenge: a shopping session spans dozens of pages, yet existing agents either discard long-range observation histories, losing the evolving user state, or naively concatenate them, overwhelming the context window and even degrading simulation quality. (ii) Optimization Challenge: current user simulators are typically supervised to match each logged action via imitation or step-level rewards; the resulting sessions often display unrealistic patterns, such as over-exploration or excessive passivity, which per-step supervision can neither detect nor correct. To address the above challenges, we present RecVerse, a GUI-grounded simulation agent that perceives pages through screenshots and produces faithful multi-turn trajectories. For the memory challenge, RecVerse adopts a cognitive-inspired hierarchical memory: Working Memory for short-term focus, Episodic Memory for in-session traces, and Preference Memory for high-level intent, with memory updates treated as actions so that the agent adaptively learns when and what to memorize. For the optimization challenge, RecVerse is optimized with a trajectory-level RL objective that scores entire sessions, aligning both macro-level action-type distributions and micro-level shopping intent with real users. We further release USB (User Simulation Benchmark), an interactive e-commerce GUI trajectory dataset for multi-turn user simulation. Experiments show that RecVerse significantly outperforms existing baselines in both behavioral fidelity and intent consistency.