Es braucht zwei: Komplementäre Selbst-Destillation für kontextuelle Integrität in LLMs

Zusammenfassung

Kontextuelle Integrität (CI) definiert Privatsphäre nicht nur als das Verbergen von Informationen, sondern als die Steuerung von Informationsflüssen gemäß den Normen eines gegebenen Kontexts. Da große Sprachmodelle zunehmend als persönliche Agenten eingesetzt werden, die sensible Arbeitsabläufe verwalten, wird die Einhaltung von CI entscheidend. Allerdings bleiben selbst führende Modelle bei Offenlegungsentscheidungen unzuverlässig, und bestehende Abhilfestrategien beeinträchtigen oft die zugrundeliegende Aufgabenleistung. Um diesen Zielkonflikt zwischen Privatsphäre und Nutzen zu überwinden, schlagen wir SELFCI vor, ein komplementäres Self-Distillation-Framework, das die Unterdrückung von Informationen von der Aufgabenlösung entkoppelt. SELFCI optimiert gemeinsam zwei unabhängige reverse KL-Divergenzen über verschiedene aus Rückmeldungen abgeleitete Lehrer-Verteilungen: Eine fördert die Beibehaltung aufgabenrelevanter Informationen für den Nutzen, während die andere eine minimale und angemessene Offenlegung erzwingt. Diese komplementäre Formulierung induziert ein Product-of-Experts (PoE)-Ziel, das die Policy mit der Schnittmenge von Fähigkeits- und Datenschutzanforderungen ausrichtet. Empirische Evaluierungen zeigen, dass SELFCI, ohne auf kostspielige externe Überwachung angewiesen zu sein, durchgängig bessere Ergebnisse erzielt als wettbewerbsfähige Baselines wie Online-Verstärkungslernalgorithmen (z. B. GRPO). Diese Trends erstrecken sich weiter auf bereichsfremde Umgebungen, die agentische Arbeitsabläufe und angesammelten privaten Kontext umfassen, was darauf hindeutet, dass SELFCI einen praktischen Weg zur CI-Ausrichtung bietet.

English

Contextual Integrity (CI) defines privacy not merely as keeping information hidden, but as governing information flows according to the norms of a given context. As large language models are increasingly deployed as personal agents handling sensitive workflows, adhering to CI becomes critical. However, even frontier models remain unreliable in making disclosure decisions, and existing mitigation strategies often degrade underlying task performance. To overcome this privacy-utility trade-off, we propose SELFCI, a complementary self-distillation framework that decouples information suppression from task resolution. SELFCI jointly optimizes two independent reverse KL divergences over distinct teacher distributions derived from feedback: one encourages preserving task-relevant information for utility, while the other enforces minimal and appropriate disclosure. This complementary formulation induces a Product-of-Experts (PoE) target, aligning the policy with the intersection of capability and privacy requirements. Empirical evaluations demonstrate that SELFCI, without relying on costly external supervision, consistently outperforms competitive baselines such as online reinforcement learning algorithms (e.g., GRPO). These trends further extend to out-of-domain settings involving agentic workflows and accumulated private context, suggesting that SELFCI provides a practical path toward CI alignment.