Opérationnalisation de l'intégrité contextuelle dans les assistants respectueux de la vie privée

Operationalizing Contextual Integrity in Privacy-Conscious Assistants

August 5, 2024

Auteurs: Sahra Ghalebikesabi, Eugene Bagdasaryan, Ren Yi, Itay Yona, Ilia Shumailov, Aneesh Pappu, Chongyang Shi, Laura Weidinger, Robert Stanforth, Leonard Berrada, Pushmeet Kohli, Po-Sen Huang, Borja Balle

cs.AI

Résumé

Les assistants IA avancés combinent des modèles de langage de pointe (LLM) et l'accès à des outils pour accomplir de manière autonome des tâches complexes au nom des utilisateurs. Bien que l'utilité de ces assistants puisse augmenter considérablement avec l'accès aux informations des utilisateurs, y compris les e-mails et les documents, cela soulève des préoccupations en matière de confidentialité concernant le partage d'informations inappropriées avec des tiers sans supervision de l'utilisateur. Pour guider les assistants partageant des informations à se comporter conformément aux attentes en matière de confidentialité, nous proposons d'opérationnaliser l'intégrité contextuelle (CI), un cadre qui assimile la confidentialité à un flux d'informations approprié dans un contexte donné. En particulier, nous concevons et évaluons plusieurs stratégies pour orienter les actions de partage d'informations des assistants afin qu'elles soient conformes à l'intégrité contextuelle. Notre évaluation repose sur un nouveau benchmark de remplissage de formulaires composé de données synthétiques et d'annotations humaines, et elle révèle que l'incitation des LLM de pointe à effectuer un raisonnement basé sur l'intégrité contextuelle donne des résultats solides.

English

Advanced AI assistants combine frontier LLMs and tool access to autonomously perform complex tasks on behalf of users. While the helpfulness of such assistants can increase dramatically with access to user information including emails and documents, this raises privacy concerns about assistants sharing inappropriate information with third parties without user supervision. To steer information-sharing assistants to behave in accordance with privacy expectations, we propose to operationalize contextual integrity (CI), a framework that equates privacy with the appropriate flow of information in a given context. In particular, we design and evaluate a number of strategies to steer assistants' information-sharing actions to be CI compliant. Our evaluation is based on a novel form filling benchmark composed of synthetic data and human annotations, and it reveals that prompting frontier LLMs to perform CI-based reasoning yields strong results.