Kontextuelle Integrität in LLMs durch logisches Denken und bestärkendes Lernen

Contextual Integrity in LLMs via Reasoning and Reinforcement Learning

May 29, 2025

Autoren: Guangchen Lan, Huseyin A. Inan, Sahar Abdelnabi, Janardhan Kulkarni, Lukas Wutschitz, Reza Shokri, Christopher G. Brinton, Robert Sim

cs.AI

Zusammenfassung

Während das Zeitalter autonomer Agenten, die im Namen von Nutzern Entscheidungen treffen, anbricht, wird die Sicherstellung der kontextuellen Integrität (CI) – also die Frage, welche Informationen angemessen sind, um eine bestimmte Aufgabe auszuführen – zu einer zentralen Fragestellung in diesem Bereich. Wir vertreten die Ansicht, dass CI eine Form des Denkens erfordert, bei der der Agent den Kontext, in dem er agiert, berücksichtigen muss. Um dies zu testen, fordern wir zunächst große Sprachmodelle (LLMs) dazu auf, explizit über CI nachzudenken, wenn sie entscheiden, welche Informationen preisgegeben werden sollen. Anschließend erweitern wir diesen Ansatz, indem wir ein Reinforcement-Learning (RL)-Framework entwickeln, das den Modellen das notwendige Denken vermittelt, um CI zu erreichen. Mithilfe eines synthetischen, automatisch erstellten Datensatzes mit nur etwa 700 Beispielen, aber vielfältigen Kontexten und Normen zur Informationsweitergabe, zeigen wir, dass unsere Methode die unangemessene Weitergabe von Informationen erheblich reduziert, während die Aufgabenleistung über verschiedene Modellgrößen und -familien hinweg erhalten bleibt. Entscheidend ist, dass die Verbesserungen von diesem synthetischen Datensatz auf etablierte CI-Benchmarks wie PrivacyLens übertragbar sind, die menschliche Annotationen enthalten und die Datenschutzverletzungen von KI-Assistenten in Aktionen und Tool-Aufrufen bewerten.

English

As the era of autonomous agents making decisions on behalf of users unfolds, ensuring contextual integrity (CI) -- what is the appropriate information to share while carrying out a certain task -- becomes a central question to the field. We posit that CI demands a form of reasoning where the agent needs to reason about the context in which it is operating. To test this, we first prompt LLMs to reason explicitly about CI when deciding what information to disclose. We then extend this approach by developing a reinforcement learning (RL) framework that further instills in models the reasoning necessary to achieve CI. Using a synthetic, automatically created, dataset of only sim700 examples but with diverse contexts and information disclosure norms, we show that our method substantially reduces inappropriate information disclosure while maintaining task performance across multiple model sizes and families. Importantly, improvements transfer from this synthetic dataset to established CI benchmarks such as PrivacyLens that has human annotations and evaluates privacy leakage of AI assistants in actions and tool calls.