Implementare l'Integrità Contestuale negli Assistenti Consapevoli della Privacy
Operationalizing Contextual Integrity in Privacy-Conscious Assistants
August 5, 2024
Autori: Sahra Ghalebikesabi, Eugene Bagdasaryan, Ren Yi, Itay Yona, Ilia Shumailov, Aneesh Pappu, Chongyang Shi, Laura Weidinger, Robert Stanforth, Leonard Berrada, Pushmeet Kohli, Po-Sen Huang, Borja Balle
cs.AI
Abstract
Gli assistenti AI avanzati combinano modelli linguistici all'avanguardia (LLM) e accesso a strumenti per eseguire autonomamente compiti complessi per conto degli utenti. Sebbene l'utilità di tali assistenti possa aumentare notevolmente con l'accesso a informazioni personali come email e documenti, ciò solleva preoccupazioni sulla privacy riguardo alla condivisione di informazioni inappropriate con terze parti senza la supervisione dell'utente. Per guidare gli assistenti che condividono informazioni a comportarsi in linea con le aspettative di privacy, proponiamo di operazionalizzare l'integrità contestuale (CI), un framework che equipara la privacy al flusso appropriato di informazioni in un determinato contesto. In particolare, progettiamo e valutiamo diverse strategie per orientare le azioni di condivisione delle informazioni degli assistenti affinché siano conformi alla CI. La nostra valutazione si basa su un nuovo benchmark di compilazione di modelli composto da dati sintetici e annotazioni umane, e rivela che sollecitare i modelli linguistici all'avanguardia a eseguire ragionamenti basati sulla CI produce risultati significativi.
English
Advanced AI assistants combine frontier LLMs and tool access to autonomously
perform complex tasks on behalf of users. While the helpfulness of such
assistants can increase dramatically with access to user information including
emails and documents, this raises privacy concerns about assistants sharing
inappropriate information with third parties without user supervision. To steer
information-sharing assistants to behave in accordance with privacy
expectations, we propose to operationalize contextual integrity
(CI), a framework that equates privacy with the appropriate flow of information
in a given context. In particular, we design and evaluate a number of
strategies to steer assistants' information-sharing actions to be CI compliant.
Our evaluation is based on a novel form filling benchmark composed of synthetic
data and human annotations, and it reveals that prompting frontier LLMs to
perform CI-based reasoning yields strong results.