Vinci2 : Assistance proactive dans les vidéos égocentriques continues

Résumé

Quand un assistant intelligent doit-il intervenir sans qu'on le lui demande ? La vidéo égocentrique continue offre un contexte riche et évolutif qui permet une nouvelle forme d'assistance : proactive plutôt que simplement réactive. Pourtant, les approches existantes soit attendent passivement les requêtes des utilisateurs, soit traitent chaque événement détecté comme nécessitant une réponse, sans tenir compte de l'historique de l'utilisateur, de son activité en cours, ni même de la pertinence de l'assistance. Nous reformulons l'assistance proactive comme un problème décisionnel dépendant du contexte : l'agent doit non seulement percevoir ce qui se passe, mais aussi raisonner à partir du contexte temporel accumulé pour déterminer quand et s'il doit intervenir. Dans cette optique, nous présentons Vinci2, un système d'assistance proactive égocentrique qui fait évoluer l'assistant intégré Vinci d'une réaction réactive vers une proactivité. Côté évaluation, nous proposons EgoServe, le premier référentiel à grande échelle pour l'assistance proactive en vidéo égocentrique continue. EgoServe comprend plus de 3 000 instances de service organisées selon 4 horizons de mémoire temporelle, allant des alertes de sécurité immédiates au coaching d'habitudes à long terme, couvrant 10 catégories de service. Côté modélisation, nous présentons EgoMemo, un agent sans apprentissage et augmenté par la mémoire, qui maintient trois représentations mémorielles complémentaires : des résumés temporels multi-échelles, un graphe de connaissances sémantiques et des archives d'encastrements visuels. À chaque pas de temps, EgoMemo effectue un raisonnement augmenté par récupération pour déterminer si une assistance est justifiée et, le cas échéant, produit des réponses fondées sur le contexte. Les expériences montrent qu'EgoMemo établit des références solides sur EgoServe tout en restant compétitif sur les référentiels égocentriques existants. Notre référentiel et notre code sont disponibles publiquement à l'adresse https://sitonggong.github.io/EgoServe-page/{Vinci2}.

English

When should an intelligent assistant speak up without being asked? Continuous egocentric video offers rich, evolving context that enables a new form of assistance: one that is proactive rather than merely reactive. Yet existing approaches either wait passively for user queries or treat every detected event as requiring a response, without considering the user's history, current activity, or whether assistance would actually be welcome. We reframe proactive assistance as a context-dependent decision problem: the agent must not only perceive what is happening, but reason over accumulated temporal context to determine when and whether to intervene. To this end, we present Vinci2, a proactive egocentric assistance system that advances the on-device assistant Vinci from reactive response toward proactivity. On the evaluation side, we present EgoServe, the first large-scale benchmark for proactive assistance in continuous egocentric video. EgoServe comprises over 3,000 service instances organized along 4 temporal memory horizons, ranging from immediate safety alerts to long-term habit coaching, across 10 service categories. On the modeling side, we propose EgoMemo, a training-free, memory-augmented agent that maintains three complementary memory representations: multi-scale temporal summaries, a semantic knowledge graph, and visual embedding archives. At each timestep, EgoMemo performs retrieval-augmented reasoning to determine whether assistance is warranted and, if so, produces contextually grounded responses. Experiments demonstrate that EgoMemo establishes strong baselines on EgoServe while remaining competitive on existing egocentric benchmarks. Our benchmark and code are publicly available at https://sitonggong.github.io/EgoServe-page/{Vinci2}.