ChatPaper.aiChatPaper

Контекстуальная целостность в больших языковых моделях через рассуждение и обучение с подкреплением

Contextual Integrity in LLMs via Reasoning and Reinforcement Learning

May 29, 2025
Авторы: Guangchen Lan, Huseyin A. Inan, Sahar Abdelnabi, Janardhan Kulkarni, Lukas Wutschitz, Reza Shokri, Christopher G. Brinton, Robert Sim
cs.AI

Аннотация

С наступлением эры автономных агентов, принимающих решения от имени пользователей, обеспечение контекстной целостности (КЦ) — то есть определение, какую информацию уместно делиться при выполнении определённой задачи — становится ключевым вопросом в этой области. Мы утверждаем, что КЦ требует формы рассуждений, при которой агент должен учитывать контекст, в котором он действует. Чтобы проверить это, мы сначала предлагаем крупным языковым моделям (LLM) явно рассуждать о КЦ при принятии решений о раскрытии информации. Затем мы расширяем этот подход, разрабатывая фреймворк обучения с подкреплением (RL), который дополнительно прививает моделям необходимые рассуждения для достижения КЦ. Используя синтетический, автоматически созданный набор данных, состоящий всего из 700 примеров, но с разнообразными контекстами и нормами раскрытия информации, мы показываем, что наш метод значительно сокращает неадекватное раскрытие информации, сохраняя при этом производительность задач для моделей различных размеров и семейств. Важно отметить, что улучшения переносятся с этого синтетического набора данных на устоявшиеся бенчмарки КЦ, такие как PrivacyLens, который содержит аннотации, созданные людьми, и оценивает утечку приватности в действиях и вызовах инструментов ИИ-ассистентов.
English
As the era of autonomous agents making decisions on behalf of users unfolds, ensuring contextual integrity (CI) -- what is the appropriate information to share while carrying out a certain task -- becomes a central question to the field. We posit that CI demands a form of reasoning where the agent needs to reason about the context in which it is operating. To test this, we first prompt LLMs to reason explicitly about CI when deciding what information to disclose. We then extend this approach by developing a reinforcement learning (RL) framework that further instills in models the reasoning necessary to achieve CI. Using a synthetic, automatically created, dataset of only sim700 examples but with diverse contexts and information disclosure norms, we show that our method substantially reduces inappropriate information disclosure while maintaining task performance across multiple model sizes and families. Importantly, improvements transfer from this synthetic dataset to established CI benchmarks such as PrivacyLens that has human annotations and evaluates privacy leakage of AI assistants in actions and tool calls.
PDF41June 6, 2025