EM^2Mem: 대규모 언어 모델을 위한 이벤트 중심 멀티모달 메모리

초록

멀티모달 메모리는 장기 비디오 질의응답을 위한 확장 가능한 인터페이스를 제공하지만, 기존 방법들은 종종 캡션, 프레임, 대본, 요약, 또는 그래프 사실을 단편적인 조각들로 검색한다. 검색은 가능하지만, 이러한 조각들은 생성에 바로 사용할 수 없다. 언어 모델은 맥락이 제한적이고 귀속(attribution)이 어려운 추론 시점에 교차 양식 및 시간적 정렬을 재구성해야 하기 때문이다. 우리는 EM^2Mem을 제안한다. 이는 메모리 구축 과정에서 이질적인 증거를 이벤트 앵커에 결합하는 이벤트 중심 멀티모달 메모리 프레임워크이다. 각 이벤트 인덱스 기반 메모리 셀은 멀티모달 기록, 시간적 맥락, 그래프 연결 관계, 의미적 사실, 출처 정보를 정렬하여, 양식 특정 단편이 아닌 근거 기반의 멀티모달 이벤트에 대한 압축된 증거 판독을 가능하게 한다. 세 개의 장기 비디오 QA 벤치마크에서 EM^2Mem은 가장 강력한 메모리 베이스라인 대비 평균 정확도를 각각 2.0, 2.4, 3.7포인트 향상시키고, 엄격한 이벤트 수준 Top-5 증거 재현율을 7.0포인트 향상시키며, 쿼리당 지연 시간을 4.67배 줄이고 총 추론 토큰을 63.66% 감소시킨다(코드는 https://github.com/zjunlp/LightMem에 통합될 예정이다).

English

Multimodal memory offers a scalable interface for long-video question answering, but existing methods often retrieve captions, frames, transcripts, summaries, or graph facts as isolated fragments. Although searchable, such fragments are not generation-ready: language models must reconstruct cross-modal and temporal alignments at inference time, when context is limited and attribution is difficult. We propose EM^2Mem, an event-centric multimodal memory framework that binds heterogeneous evidence to event anchors during memory construction. Each event-indexed memory cell aligns multimodal records, temporal context, graph-linked relations, semantic facts, and provenance, enabling compact evidence readout over grounded multimodal events rather than modality-specific fragments. Across three long-video QA benchmarks, EM^2Mem improves average accuracy over the strongest memory baseline by 2.0, 2.4, and 3.7 points, improves strict event-level Top-5 evidence recall by 7.0 points, and reduces per-query latency by 4.67 times and total inference tokens by 63.66% (The code will be integrated into https://github.com/zjunlp/LightMem).