LightMem-Ego: Sua Memória de IA para o Dia a Dia

Resumo

Assistentes pessoais de IA em dispositivos móveis e vestíveis percebem continuamente a vida cotidiana dos usuários por meio de fluxos visuais e de áudio. No entanto, responder a perguntas sobre experiências passadas exige uma memória multimodal leve que possa acumular, organizar e recuperar continuamente experiências de longo prazo, o que ainda é desafiador. Para enfrentar esse desafio, apresentamos o LightMem-Ego, um sistema leve de memória multimodal em fluxo contínuo para assistência à vida cotidiana. O sistema captura continuamente fluxos visuais e de áudio egocêntricos, alinha-os em uma linha do tempo compartilhada e os organiza em uma memória hierárquica composta por memória atual, de curto prazo e de longo prazo. Dada uma consulta do usuário, o LightMem-Ego roteia dinamicamente a recuperação para o nível de memória apropriado e gera respostas fundamentadas em evidências multimodais. A demonstração pode ser implantada em smartphones e óculos de IA, apoiando localização de objetos, recuperação de conversas, sumarização da vida, descoberta de rotinas e assistência personalizada. O código está disponível em https://github.com/zjunlp/LightMem-Ego.

English

Personal AI assistants on mobile and wearable devices continuously perceive users' daily lives through visual and audio streams. However, answering queries about past experiences requires lightweight multimodal memory that can continuously accumulate, organize, and retrieve long-term experiences, which remains challenging. To address this challenge, we present LightMem-Ego, a lightweight streaming multimodal memory system for everyday-life assistance. The system continuously captures egocentric visual and audio streams, aligns them on a shared timeline, and organizes them into a hierarchical memory consisting of current, short-term, and long-term memory. Given a user query, LightMem-Ego dynamically routes retrieval to the appropriate memory level and generates answers grounded in multimodal evidence. The demonstration can be deployed on smartphones and AI glasses, supporting object finding, conversation recall, life summarization, routine discovery, and personalized assistance. Code is available at https://github.com/zjunlp/LightMem-Ego.