Persönlicher KI-Agent für die visuelle Fragebeantwortung der Kamerarolle

Zusammenfassung

Wir untersuchen das Setting der visuellen Fragebeantwortung auf persönlichen Kamerarollen. In diesem Setting kann ein KI-gestützter Konversationsassistent auf die persönliche Kamerarolle eines Nutzers zugreifen und relevante Fotos abrufen, um Fragen zu beantworten – von einfachen Faktenfragen (z. B. „Wie hieß das Essen, das ich gestern probiert habe?“) bis hin zu offeneren Fragen (z. B. „Empfiehl mir Gerichte, die ich noch nie gegessen habe“). Aufgrund des umfangreichen Charakters persönlicher Kamerarollen (d. h. mehrere Jahre, hunderte bis tausende Fotos) muss ein erfolgreicher KI-Assistent einen langfristigen, hochpersonalisierten visuellen Inhaltsstrom verstehen, um korrekte und/oder relevante Informationen navigieren und lokalisieren zu können. Zur Unterstützung dieses Ziels sammeln und annotieren wir manuell Fragen, die reale Nutzungsszenarien nachbilden. Der finale Datensatz, camroll, umfasst 50 Nutzer, 31.476 Bilder und 2.500 Frage-Antwort-Paare. Darüber hinaus entwickeln wir camroll-agent, einen KI-Konversationsagenten, der mit hierarchischem Gedächtnis und einem minimalen Satz von Werkzeugen ausgestattet ist, um eine effiziente Navigation durch große, personalisierte visuelle Gedächtnisinhalte zu ermöglichen. Experimentelle Ergebnisse zeigen, dass camroll-agent zahlreiche Basislinien und Methoden für KI-Agentensysteme zum Langzeitkontextverständnis übertrifft. Zusammen verdeutlichen der camroll-Datensatz und camroll-agent die Lücke im Langzeitkontextverständnis von KI-Agenten: Personalisiertes visuelles Gedächtnis erfordert andere Ansätze als das standardmäßige langzeitliche textuelle Gedächtnis, insbesondere wenn Konsistenz, visuelle Details und nutzerspezifischer Kontext eine Rolle spielen.

English

We study the personal camera roll visual question answering setting. In this setting, a conversational AI assistant can access a user's personal camera roll and retrieve relevant photos to answer queries, ranging from simple factual questions (e.g., ``Name of the food I tried yesterday?'') to more open-ended ones (e.g., ``Recommend some dishes I have never eaten before''). Given the vast nature of the personal camera roll (i.e., multiple years, hundreds to thousands of photos), a successful AI assistant needs to understand a long-horizon, highly personalized visual content stream in order to navigate and locate the correct and/or relevant information. To support this, we collect and manually annotate questions that mimic real-world usage. The final dataset, camroll, contains 50 users, 31,476 images, and 2,500 QA pairs. We further design camroll-agent, a conversational AI agent equipped with hierarchical memory and a minimal set of tools for efficient navigation over large, personalized visual memory. Experimental results show that camroll-agent outperforms numerous baselines and methods for long-context understanding AI agents system. Together, the camroll dataset and camroll-agent highlight the gap in AI agents' long-context reasoning: personalized visual memory requires different approaches from standard long-context textual memory, especially when consistency, visual details, and user-specific context are present.