LightMem-Ego: 日常生活を支えるAIメモリー

LightMem-Ego: Your AI Memory for Everyday Life

July 13, 2026

著者: Yijun Chen, Boyi Xiao, Yixian Zhao, Haoting Xia, Buqiang Xu, Jizhan Fang, Yanya Li, Yaqi Zheng, Xuehai Wang, Zirui Xue, Liuxin Zhang, Hui Li, Ningyu Zhang

cs.AI

要旨

モバイルおよびウェアラブルデバイス上のパーソナルAIアシスタントは、視覚および音声ストリームを通じてユーザーの日常生活を継続的に認識します。しかし、過去の経験に関するクエリに回答するには、長期の経験を継続的に蓄積、整理、検索できる軽量なマルチモーダルメモリが必要であり、これは依然として困難な課題です。この課題に対処するため、私たちは日常生活支援のための軽量ストリーミングマルチモーダルメモリシステムであるLightMem-Egoを提案します。本システムは、自己中心的な視覚および音声ストリームを継続的に取得し、それらを共有タイムライン上で整列させ、現在記憶、短期記憶、長期記憶からなる階層的メモリに整理します。ユーザーのクエリが与えられると、LightMem-Egoは動的に検索を適切なメモリレベルにルーティングし、マルチモーダルな証拠に基づいて回答を生成します。このデモンストレーションはスマートフォンやAIグラスに展開可能で、物体検索、会話の想起、生活の要約、ルーティンの発見、パーソナライズされた支援をサポートします。コードは https://github.com/zjunlp/LightMem-Ego で公開されています。

English

Personal AI assistants on mobile and wearable devices continuously perceive users' daily lives through visual and audio streams. However, answering queries about past experiences requires lightweight multimodal memory that can continuously accumulate, organize, and retrieve long-term experiences, which remains challenging. To address this challenge, we present LightMem-Ego, a lightweight streaming multimodal memory system for everyday-life assistance. The system continuously captures egocentric visual and audio streams, aligns them on a shared timeline, and organizes them into a hierarchical memory consisting of current, short-term, and long-term memory. Given a user query, LightMem-Ego dynamically routes retrieval to the appropriate memory level and generates answers grounded in multimodal evidence. The demonstration can be deployed on smartphones and AI glasses, supporting object finding, conversation recall, life summarization, routine discovery, and personalized assistance. Code is available at https://github.com/zjunlp/LightMem-Ego.