LightMem-Ego: Jouw AI-geheugen voor het dagelijks leven

Samenvatting

Persoonlijke AI-assistenten op mobiele en draagbare apparaten nemen continu het dagelijks leven van gebruikers waar via visuele en audio-streams. Het beantwoorden van vragen over ervaringen uit het verleden vereist echter een lichtgewicht multimodaal geheugen dat continu langetermijnervaringen kan verzamelen, ordenen en ophalen, wat een uitdaging blijft. Om deze uitdaging aan te gaan, presenteren we LightMem-Ego, een lichtgewicht streamend multimodaal geheugensysteem voor ondersteuning in het dagelijks leven. Het systeem legt continu egocentrische visuele en audio-streams vast, lijnt ze uit op een gedeelde tijdlijn en organiseert ze in een hiërarchisch geheugen bestaande uit huidig, kortetermijn- en langetermijngeheugen. Bij een gebruikersvraag routeert LightMem-Ego dynamisch het ophalen naar het juiste geheugenniveau en genereert antwoorden die zijn gebaseerd op multimodaal bewijs. De demonstratie kan worden ingezet op smartphones en AI-brillen en ondersteunt het vinden van objecten, het ophalen van gesprekken, levenssamenvatting, routineontdekking en gepersonaliseerde ondersteuning. Code is beschikbaar op https://github.com/zjunlp/LightMem-Ego.

English

Personal AI assistants on mobile and wearable devices continuously perceive users' daily lives through visual and audio streams. However, answering queries about past experiences requires lightweight multimodal memory that can continuously accumulate, organize, and retrieve long-term experiences, which remains challenging. To address this challenge, we present LightMem-Ego, a lightweight streaming multimodal memory system for everyday-life assistance. The system continuously captures egocentric visual and audio streams, aligns them on a shared timeline, and organizes them into a hierarchical memory consisting of current, short-term, and long-term memory. Given a user query, LightMem-Ego dynamically routes retrieval to the appropriate memory level and generates answers grounded in multimodal evidence. The demonstration can be deployed on smartphones and AI glasses, supporting object finding, conversation recall, life summarization, routine discovery, and personalized assistance. Code is available at https://github.com/zjunlp/LightMem-Ego.