Keep It InMind: エージェントメモリにおける暗黙的連合の盲点のベンチマーキング

要旨

長期記憶システムは、ユーザーが発話した内容を外部ストレージに保存し、関連するクエリが到着した際にそれを取得する。このインターフェースは、ごく自然な前提(必要な記憶は、それを必要とするクエリと類似するという前提)に基づいており、その前提はほとんど明示されない。しかし、世界知識はこの前提を破綻させる。例えば、木の実アレルギーは、マカロンのリクエストに対する回答を、その材料であるアーモンド粉を通じて変更するべきである。しかし、両方のテキストには、検索器が認識できる手がかりが一切存在しない。我々はこの失敗様態を「暗黙的関連性の盲点」と呼び、それを評価するために設計されたベンチマーク「InMind」を紹介する。InMindは、10の生活領域にわたる125タスクから成り、各タスクは専門家によって検証され、113タスクは引用可能な公開情報源に基づいている。そのペア化されたコントロールは、既存の評価手法が混同する3つの説明(①事実が記憶されていない、②モデルに橋渡し知識が欠けている、③事実が記憶されていても表出されていない)を分離する。結論は明快である。決定的な記憶が文脈内に置かれた場合、バックボーンモデルは間接的なクエリに対して84.0%の正答率を示す。しかし、同じ記憶を検索しなければならない場合、6つのベクトル型、グラフ型、エージェント型記憶システムは最大でも14.4%の正答率に留まる。これらのシステムは、要求に応じて同じ事実を最大100%想起できるにもかかわらずである。次元数を8倍にした埋め込みは、あらゆるシステムにおいて、回答を見ない目標想起率を向上させるが、ギャップ自体は本質的に変化しない。クエリ到着前に記憶を可視化したままにしておく最小限の診断プローブは、このギャップの大部分を回復させる。これにより、障害はクエリ条件付きインターフェースそのものにあり、課題は、どの事実を可視化し続けるべきかを決定するルーティングにあることが示される。InMindはこの未解決問題を評価するために構築されている。

English

Long-term memory systems store what a user says in an external store and retrieve it when a related query arrives. This interface rests on an assumption so natural that it is rarely stated: a memory that is needed will resemble the query that needs it. World knowledge breaks the assumption. A tree-nut allergy should change the answer to a macaron request through their almond-flour ingredient, yet the two texts share no cue a retriever can see. We call this failure mode the implicit-association blind spot and introduce InMind, a 125-task, expert-verified benchmark spanning ten life domains, with 113 tasks grounded in citable public sources. Its paired controls separate three explanations that existing evaluations conflate: the fact was never stored, the model lacks the bridging knowledge, or the fact was stored and never surfaced. The verdict is clean. With the decisive memory placed in context, the backbone answers 84.0 percent of indirect queries; when the same memory must be retrieved, six vector, graph, and agentic memory systems reach at most 14.4 percent, even though they recall the same facts on demand at up to 100 percent. An embedding with eight times the dimensionality raises answer-blind target recall for every system yet leaves the gap essentially intact. A minimal diagnostic probe that keeps memory visible before the query arrives recovers most of the gap, locating the failure in the query-conditioned interface itself and pointing to routing, deciding which facts must stay visible, as the open problem InMind is built to score.