Vinci2: 연속적 자가 시점 영상에서 선제적 지원 제공

초록

지능형 보조 시스템은 언제 사용자의 요청 없이 개입해야 하는가? 연속적인 자기중심적(egocentric) 영상은 풍부하고 진화하는 맥락을 제공하여, 단순히 반응적인(reactive) 것이 아닌 능동적인(proactive) 새로운 형태의 지원을 가능하게 한다. 그러나 기존 접근법은 사용자의 이력, 현재 활동, 또는 도움이 실제로 환영받을지 여부를 고려하지 않고, 수동적으로 사용자 질의를 기다리거나 감지된 모든 이벤트에 응답이 필요하다고 간주한다. 우리는 능동적 지원을 맥락 의존적 의사 결정 문제로 재정의한다. 에이전트는 무슨 일이 일어나고 있는지 인식할 뿐만 아니라, 축적된 시간적 맥락을 기반으로 추론하여 언제, 어떻게 개입할지를 결정해야 한다. 이를 위해, 우리는 온디바이스(on-device) 보조 시스템 Vinci를 반응적 응답에서 능동적 지원으로 발전시킨 Vinci2를 제시한다. 평가 측면에서는 연속적인 자기중심적 영상에서의 능동적 지원을 위한 최초의 대규모 벤치마크인 EgoServe를 제시한다. EgoServe는 10개의 서비스 카테고리에 걸쳐, 즉각적인 안전 경보부터 장기적인 습관 코칭까지 4가지 시간적 기억 지평(temporal memory horizon)을 따라 구성된 3,000개 이상의 서비스 인스턴스(instance)를 포함한다. 모델링 측면에서는 학습 없는(training-free) 메모리 증강 에이전트(memory-augmented agent)인 EgoMemo를 제안한다. EgoMemo는 다중 스케일 시간적 요약, 의미 지식 그래프(semantic knowledge graph), 시각 임베딩 아카이브(visual embedding archive)라는 세 가지 상호 보완적인 메모리 표현을 유지한다. 각 시간 단계에서 EgoMemo는 검색 증강 추론(retrieval-augmented reasoning)을 수행하여 지원이 필요한지 여부를 결정하고, 필요한 경우 맥락적으로 근거 있는 응답을 생성한다. 실험 결과, EgoMemo는 EgoServe에서 강력한 기준선(baseline)을 확립하면서도 기존 자기중심적 벤치마크에서 경쟁력을 유지함을 보여준다. 우리의 벤치마크와 코드는 https://sitonggong.github.io/EgoServe-page/{Vinci2}에서 공개적으로 이용 가능하다.

English

When should an intelligent assistant speak up without being asked? Continuous egocentric video offers rich, evolving context that enables a new form of assistance: one that is proactive rather than merely reactive. Yet existing approaches either wait passively for user queries or treat every detected event as requiring a response, without considering the user's history, current activity, or whether assistance would actually be welcome. We reframe proactive assistance as a context-dependent decision problem: the agent must not only perceive what is happening, but reason over accumulated temporal context to determine when and whether to intervene. To this end, we present Vinci2, a proactive egocentric assistance system that advances the on-device assistant Vinci from reactive response toward proactivity. On the evaluation side, we present EgoServe, the first large-scale benchmark for proactive assistance in continuous egocentric video. EgoServe comprises over 3,000 service instances organized along 4 temporal memory horizons, ranging from immediate safety alerts to long-term habit coaching, across 10 service categories. On the modeling side, we propose EgoMemo, a training-free, memory-augmented agent that maintains three complementary memory representations: multi-scale temporal summaries, a semantic knowledge graph, and visual embedding archives. At each timestep, EgoMemo performs retrieval-augmented reasoning to determine whether assistance is warranted and, if so, produces contextually grounded responses. Experiments demonstrate that EgoMemo establishes strong baselines on EgoServe while remaining competitive on existing egocentric benchmarks. Our benchmark and code are publicly available at https://sitonggong.github.io/EgoServe-page/{Vinci2}.