Création de modèles utilisateurs généraux à partir de l'utilisation informatique

Creating General User Models from Computer Use

May 16, 2025

papers.authors: Omar Shaikh, Shardul Sapkota, Shan Rizvi, Eric Horvitz, Joon Sung Park, Diyi Yang, Michael S. Bernstein

cs.AI

papers.abstract

L'interaction homme-machine a longtemps imaginé des technologies capables de nous comprendre – de nos préférences et habitudes, au timing et à la finalité de nos actions quotidiennes. Pourtant, les modèles d'utilisateurs actuels restent fragmentés, étroitement adaptés à des applications spécifiques, et incapables du raisonnement flexible nécessaire pour réaliser ces visions. Cet article présente une architecture pour un modèle d'utilisateur général (GUM, General User Model) qui apprend à vous connaître en observant toute interaction que vous avez avec votre ordinateur. Le GUM prend comme entrée toute observation non structurée d'un utilisateur (par exemple, des captures d'écran de l'appareil) et construit des propositions pondérées par la confiance qui capturent les connaissances et préférences de cet utilisateur. Les GUMs peuvent déduire qu'un utilisateur se prépare pour un mariage auquel il participe à partir de messages échangés avec un ami. Ou reconnaître qu'un utilisateur a du mal à intégrer les commentaires d'un collaborateur sur un brouillon en observant plusieurs modifications bloquées et un passage à la lecture de travaux connexes. Les GUMs introduisent une architecture qui infère de nouvelles propositions sur un utilisateur à partir d'observations multimodales, récupère des propositions connexes pour le contexte, et révise continuellement les propositions existantes. Pour illustrer l'étendue des applications que les GUMs permettent, nous démontrons comment ils enrichissent les assistants basés sur le chat avec du contexte, gèrent les notifications du système d'exploitation pour mettre en avant sélectivement des informations importantes, et permettent à des agents interactifs de s'adapter aux préférences à travers les applications. Nous instancions également des assistants proactifs (GUMBOs) qui découvrent et exécutent des suggestions utiles au nom d'un utilisateur en utilisant leur GUM. Dans nos évaluations, nous constatons que les GUMs font des inférences calibrées et précises sur les utilisateurs, et que les assistants construits sur les GUMs identifient et exécutent de manière proactive des actions que les utilisateurs ne penseraient pas à demander explicitement. En somme, les GUMs introduisent des méthodes qui exploitent des modèles multimodaux pour comprendre le contexte non structuré, permettant de réaliser des visions de longue date de l'HCI et de créer de nouveaux systèmes interactifs qui anticipent les besoins des utilisateurs.

English

Human-computer interaction has long imagined technology that understands us-from our preferences and habits, to the timing and purpose of our everyday actions. Yet current user models remain fragmented, narrowly tailored to specific apps, and incapable of the flexible reasoning required to fulfill these visions. This paper presents an architecture for a general user model (GUM) that learns about you by observing any interaction you have with your computer. The GUM takes as input any unstructured observation of a user (e.g., device screenshots) and constructs confidence-weighted propositions that capture that user knowledge and preferences. GUMs can infer that a user is preparing for a wedding they're attending from messages with a friend. Or recognize that a user is struggling with a collaborator's feedback on a draft by observing multiple stalled edits and a switch to reading related work. GUMs introduce an architecture that infers new propositions about a user from multimodal observations, retrieves related propositions for context, and continuously revises existing propositions. To illustrate the breadth of applications that GUMs enable, we demonstrate how they augment chat-based assistants with context, manage OS notifications to selectively surface important information, and enable interactive agents that adapt to preferences across apps. We also instantiate proactive assistants (GUMBOs) that discover and execute useful suggestions on a user's behalf using their GUM. In our evaluations, we find that GUMs make calibrated and accurate inferences about users, and that assistants built on GUMs proactively identify and perform actions that users wouldn't think to request explicitly. Altogether, GUMs introduce methods that leverage multimodal models to understand unstructured context, enabling long-standing visions of HCI and entirely new interactive systems that anticipate user needs.