Нужны двое: взаимодополняющая самодистилляция для контекстной целостности в LLM

Аннотация

Контекстуальная целостность (CI) определяет конфиденциальность не просто как сокрытие информации, а как регулирование информационных потоков в соответствии с нормами данного контекста. Поскольку большие языковые модели все чаще развертываются в качестве персональных агентов, обрабатывающих конфиденциальные рабочие процессы, соблюдение CI становится критически важным. Однако даже передовые модели остаются ненадежными при принятии решений о раскрытии информации, а существующие стратегии смягчения часто ухудшают производительность основной задачи. Чтобы преодолеть этот компромисс между конфиденциальностью и полезностью, мы предлагаем SELFCI — дополнительную структуру самодистилляции, которая разделяет подавление информации и решение задачи. SELFCI совместно оптимизирует две независимые обратные KL-дивергенции по различным распределениям учителя, полученным из обратной связи: одна поощряет сохранение релевантной для задачи информации ради полезности, а другая обеспечивает минимальное и соответствующее раскрытие. Эта дополнительная формулировка порождает целевую функцию вида «произведение экспертов» (Product-of-Experts, PoE), согласовывая политику с пересечением требований к производительности и конфиденциальности. Эмпирические оценки показывают, что SELFCI, не полагаясь на дорогостоящий внешний контроль, последовательно превосходит конкурентоспособные базовые линии, такие как алгоритмы онлайн-обучения с подкреплением (например, GRPO). Эти тенденции дополнительно распространяются на сценарии вне домена, включающие агентные рабочие процессы и накопленный приватный контекст, что позволяет предположить, что SELFCI предоставляет практический путь к согласованию с CI.

English

Contextual Integrity (CI) defines privacy not merely as keeping information hidden, but as governing information flows according to the norms of a given context. As large language models are increasingly deployed as personal agents handling sensitive workflows, adhering to CI becomes critical. However, even frontier models remain unreliable in making disclosure decisions, and existing mitigation strategies often degrade underlying task performance. To overcome this privacy-utility trade-off, we propose SELFCI, a complementary self-distillation framework that decouples information suppression from task resolution. SELFCI jointly optimizes two independent reverse KL divergences over distinct teacher distributions derived from feedback: one encourages preserving task-relevant information for utility, while the other enforces minimal and appropriate disclosure. This complementary formulation induces a Product-of-Experts (PoE) target, aligning the policy with the intersection of capability and privacy requirements. Empirical evaluations demonstrate that SELFCI, without relying on costly external supervision, consistently outperforms competitive baselines such as online reinforcement learning algorithms (e.g., GRPO). These trends further extend to out-of-domain settings involving agentic workflows and accumulated private context, suggesting that SELFCI provides a practical path toward CI alignment.