Operacionalizando la Integridad Contextual en Asistentes Conscientes de la Privacidad.

Operationalizing Contextual Integrity in Privacy-Conscious Assistants

August 5, 2024

Autores: Sahra Ghalebikesabi, Eugene Bagdasaryan, Ren Yi, Itay Yona, Ilia Shumailov, Aneesh Pappu, Chongyang Shi, Laura Weidinger, Robert Stanforth, Leonard Berrada, Pushmeet Kohli, Po-Sen Huang, Borja Balle

cs.AI

Resumen

Los asistentes de IA avanzados combinan modelos de lenguaje de última generación y acceso a herramientas para realizar de forma autónoma tareas complejas en nombre de los usuarios. Si bien la utilidad de tales asistentes puede aumentar drásticamente con el acceso a la información del usuario, incluidos correos electrónicos y documentos, esto plantea preocupaciones de privacidad sobre la posibilidad de que los asistentes compartan información inapropiada con terceros sin supervisión del usuario. Para guiar a los asistentes en el intercambio de información para que se comporten de acuerdo con las expectativas de privacidad, proponemos operacionalizar la integridad contextual (CI), un marco que equipara la privacidad con el flujo apropiado de información en un contexto dado. En particular, diseñamos y evaluamos una serie de estrategias para dirigir las acciones de intercambio de información de los asistentes para que cumplan con CI. Nuestra evaluación se basa en un nuevo benchmark de rellenado de formularios compuesto por datos sintéticos y anotaciones humanas, y revela que incitar a los modelos de lenguaje de última generación a realizar razonamientos basados en CI produce resultados sólidos.

English

Advanced AI assistants combine frontier LLMs and tool access to autonomously perform complex tasks on behalf of users. While the helpfulness of such assistants can increase dramatically with access to user information including emails and documents, this raises privacy concerns about assistants sharing inappropriate information with third parties without user supervision. To steer information-sharing assistants to behave in accordance with privacy expectations, we propose to operationalize contextual integrity (CI), a framework that equates privacy with the appropriate flow of information in a given context. In particular, we design and evaluate a number of strategies to steer assistants' information-sharing actions to be CI compliant. Our evaluation is based on a novel form filling benchmark composed of synthetic data and human annotations, and it reveals that prompting frontier LLMs to perform CI-based reasoning yields strong results.