Integridad Contextual en LLMs mediante Razonamiento y Aprendizaje por Refuerzo

Contextual Integrity in LLMs via Reasoning and Reinforcement Learning

May 29, 2025

Autores: Guangchen Lan, Huseyin A. Inan, Sahar Abdelnabi, Janardhan Kulkarni, Lukas Wutschitz, Reza Shokri, Christopher G. Brinton, Robert Sim

cs.AI

Resumen

A medida que se desarrolla la era de los agentes autónomos que toman decisiones en nombre de los usuarios, garantizar la integridad contextual (IC) —es decir, qué información es apropiada compartir al realizar una tarea específica— se convierte en una cuestión central en este campo. Postulamos que la IC exige una forma de razonamiento en la que el agente necesita reflexionar sobre el contexto en el que está operando. Para probar esto, primero solicitamos a los modelos de lenguaje grandes (LLM, por sus siglas en inglés) que razonen explícitamente sobre la IC al decidir qué información divulgar. Luego, ampliamos este enfoque desarrollando un marco de aprendizaje por refuerzo (RL, por sus siglas en inglés) que fomenta en los modelos el razonamiento necesario para alcanzar la IC. Utilizando un conjunto de datos sintético, creado automáticamente, de solo 700 ejemplos pero con diversos contextos y normas de divulgación de información, demostramos que nuestro método reduce sustancialmente la divulgación inapropiada de información mientras mantiene el rendimiento de la tarea en múltiples tamaños y familias de modelos. Es importante destacar que las mejoras se transfieren desde este conjunto de datos sintético a puntos de referencia establecidos de IC, como PrivacyLens, que cuenta con anotaciones humanas y evalúa la filtración de privacidad de los asistentes de IA en acciones y llamadas a herramientas.

English

As the era of autonomous agents making decisions on behalf of users unfolds, ensuring contextual integrity (CI) -- what is the appropriate information to share while carrying out a certain task -- becomes a central question to the field. We posit that CI demands a form of reasoning where the agent needs to reason about the context in which it is operating. To test this, we first prompt LLMs to reason explicitly about CI when deciding what information to disclose. We then extend this approach by developing a reinforcement learning (RL) framework that further instills in models the reasoning necessary to achieve CI. Using a synthetic, automatically created, dataset of only sim700 examples but with diverse contexts and information disclosure norms, we show that our method substantially reduces inappropriate information disclosure while maintaining task performance across multiple model sizes and families. Importantly, improvements transfer from this synthetic dataset to established CI benchmarks such as PrivacyLens that has human annotations and evaluates privacy leakage of AI assistants in actions and tool calls.