LightMem-Ego: 일상 생활을 위한 당신의 AI 메모리

초록

모바일 및 웨어러블 기기의 개인 AI 어시스턴트는 시각 및 오디오 스트림을 통해 사용자의 일상을 지속적으로 인지합니다. 그러나 과거 경험에 대한 질문에 답변하려면 장기 경험을 지속적으로 축적, 구성 및 검색할 수 있는 경량 멀티모달 메모리가 필요하지만, 이는 여전히 어려운 과제입니다. 이러한 과제를 해결하기 위해, 우리는 일상생활 지원을 위한 경량 스트리밍 멀티모달 메모리 시스템인 LightMem-Ego를 제시합니다. 이 시스템은 자기중심적 시각 및 오디오 스트림을 지속적으로 캡처하여 공유 타임라인에 정렬하고, 현재 메모리, 단기 메모리, 장기 메모리로 구성된 계층적 메모리로 구성합니다. 사용자 질의가 주어지면 LightMem-Ego는 적절한 메모리 수준으로 검색을 동적으로 라우팅하고 멀티모달 증거에 기반한 답변을 생성합니다. 이 데모는 스마트폰과 AI 안경에 배포 가능하며, 물체 찾기, 대화 회상, 생활 요약, 일상 발견, 맞춤형 지원을 지원합니다. 코드는 https://github.com/zjunlp/LightMem-Ego에서 확인할 수 있습니다.

English

Personal AI assistants on mobile and wearable devices continuously perceive users' daily lives through visual and audio streams. However, answering queries about past experiences requires lightweight multimodal memory that can continuously accumulate, organize, and retrieve long-term experiences, which remains challenging. To address this challenge, we present LightMem-Ego, a lightweight streaming multimodal memory system for everyday-life assistance. The system continuously captures egocentric visual and audio streams, aligns them on a shared timeline, and organizes them into a hierarchical memory consisting of current, short-term, and long-term memory. Given a user query, LightMem-Ego dynamically routes retrieval to the appropriate memory level and generates answers grounded in multimodal evidence. The demonstration can be deployed on smartphones and AI glasses, supporting object finding, conversation recall, life summarization, routine discovery, and personalized assistance. Code is available at https://github.com/zjunlp/LightMem-Ego.

LightMem-Ego: 일상 생활을 위한 당신의 AI 메모리

LightMem-Ego: Your AI Memory for Everyday Life

초록

Support