Contextuele Integriteit in LLM's via Redeneren en Reinforcement Learning

Contextual Integrity in LLMs via Reasoning and Reinforcement Learning

May 29, 2025

Auteurs: Guangchen Lan, Huseyin A. Inan, Sahar Abdelnabi, Janardhan Kulkarni, Lukas Wutschitz, Reza Shokri, Christopher G. Brinton, Robert Sim

cs.AI

Samenvatting

Naarmate het tijdperk van autonome agents die namens gebruikers beslissingen nemen zich ontvouwt, wordt het waarborgen van contextuele integriteit (CI) -- wat de juiste informatie is om te delen bij het uitvoeren van een bepaalde taak -- een centrale vraag in het veld. Wij stellen dat CI een vorm van redeneren vereist waarbij de agent moet nadenken over de context waarin hij opereert. Om dit te testen, laten we eerst LLM's expliciet redeneren over CI bij het beslissen welke informatie ze moeten delen. Vervolgens breiden we deze aanpak uit door een reinforcement learning (RL) framework te ontwikkelen dat de benodigde redenering verder inbouwt in modellen om CI te bereiken. Met behulp van een synthetische, automatisch gegenereerde dataset van slechts 700 voorbeelden, maar met diverse contexten en normen voor informatieverstrekking, laten we zien dat onze methode aanzienlijk minder ongepaste informatieverstrekking veroorzaakt, terwijl de taakprestaties behouden blijven over verschillende modelgroottes en -families. Belangrijk is dat de verbeteringen van deze synthetische dataset overgaan naar gevestigde CI-benchmarks zoals PrivacyLens, die menselijke annotaties bevat en de privacy-lekkage van AI-assistenten evalueert in acties en tool-aanroepen.

English

As the era of autonomous agents making decisions on behalf of users unfolds, ensuring contextual integrity (CI) -- what is the appropriate information to share while carrying out a certain task -- becomes a central question to the field. We posit that CI demands a form of reasoning where the agent needs to reason about the context in which it is operating. To test this, we first prompt LLMs to reason explicitly about CI when deciding what information to disclose. We then extend this approach by developing a reinforcement learning (RL) framework that further instills in models the reasoning necessary to achieve CI. Using a synthetic, automatically created, dataset of only sim700 examples but with diverse contexts and information disclosure norms, we show that our method substantially reduces inappropriate information disclosure while maintaining task performance across multiple model sizes and families. Importantly, improvements transfer from this synthetic dataset to established CI benchmarks such as PrivacyLens that has human annotations and evaluates privacy leakage of AI assistants in actions and tool calls.