EM^2Mem: 大規模言語モデルのためのイベント中心マルチモーダルメモリ

要旨

マルチモーダルメモリは、長尺動画質問応答に対するスケーラブルなインターフェースを提供するが、既存手法はキャプション、フレーム、文字起こし、要約、あるいはグラフ事実を孤立した断片として取得することが多い。検索は可能であるものの、そのような断片は生成に適した状態にはない。すなわち、言語モデルは、コンテキストが制限され帰属が困難な推論時に、クロスモーダルおよび時間的な整合性を再構築しなければならない。本稿では、メモリ構築中に異種エビデンスをイベントアンカーに結び付ける、イベント中心のマルチモーダルメモリフレームワークであるEM²Memを提案する。イベント索引付きの各メモリセルは、マルチモーダルレコード、時間的コンテキスト、グラフ関連関係、意味的事実、および来歴を整合させ、モダリティ固有の断片ではなく、グラウンディングされたマルチモーダルイベントに基づくコンパクトなエビデンス読み出しを可能にする。3つの長尺動画QAベンチマークにおいて、EM²Memは最強のメモリベースラインと比較して平均精度を2.0、2.4、3.7ポイント向上させ、厳密なイベントレベルのTop-5エビデンス再現率を7.0ポイント向上させ、クエリあたりのレイテンシを4.67倍削減し、総推論トークンを63.66%削減する（コードはhttps://github.com/zjunlp/LightMem に統合予定である）。

English

Multimodal memory offers a scalable interface for long-video question answering, but existing methods often retrieve captions, frames, transcripts, summaries, or graph facts as isolated fragments. Although searchable, such fragments are not generation-ready: language models must reconstruct cross-modal and temporal alignments at inference time, when context is limited and attribution is difficult. We propose EM^2Mem, an event-centric multimodal memory framework that binds heterogeneous evidence to event anchors during memory construction. Each event-indexed memory cell aligns multimodal records, temporal context, graph-linked relations, semantic facts, and provenance, enabling compact evidence readout over grounded multimodal events rather than modality-specific fragments. Across three long-video QA benchmarks, EM^2Mem improves average accuracy over the strongest memory baseline by 2.0, 2.4, and 3.7 points, improves strict event-level Top-5 evidence recall by 7.0 points, and reduces per-query latency by 4.67 times and total inference tokens by 63.66% (The code will be integrated into https://github.com/zjunlp/LightMem).