É Preciso Dois: Autodestilação Complementar para Integridade Contextual em LLMs

Resumo

Integridade Contextual (CI) define privacidade não meramente como manter informações ocultas, mas como governar fluxos de informação de acordo com as normas de um determinado contexto. À medida que grandes modelos de linguagem são cada vez mais implantados como agentes pessoais que lidam com fluxos de trabalho sensíveis, a adesão à CI torna-se crítica. No entanto, mesmo modelos de fronteira permanecem não confiáveis em decisões de divulgação, e as estratégias de mitigação existentes geralmente degradam o desempenho da tarefa subjacente. Para superar esse trade-off entre privacidade e utilidade, propomos o SELFCI, uma estrutura complementar de autodestilação que desacopla a supressão de informações da resolução de tarefas. O SELFCI otimiza conjuntamente duas divergências KL reversas independentes sobre distribuições professoras distintas derivadas do feedback: uma encoraja a preservação de informações relevantes para a tarefa em prol da utilidade, enquanto a outra impõe uma divulgação mínima e apropriada. Essa formulação complementar induz um alvo de Produto de Especialistas (PoE), alinhando a política com a interseção dos requisitos de capacidade e privacidade. Avaliações empíricas demonstram que o SELFCI, sem depender de supervisão externa custosa, supera consistentemente linhas de base competitivas, como algoritmos de aprendizado por reforço online (por exemplo, GRPO). Essas tendências se estendem ainda a configurações fora do domínio que envolvem fluxos de trabalho agentivos e contexto privado acumulado, sugerindo que o SELFCI oferece um caminho prático para o alinhamento com a CI.

English

Contextual Integrity (CI) defines privacy not merely as keeping information hidden, but as governing information flows according to the norms of a given context. As large language models are increasingly deployed as personal agents handling sensitive workflows, adhering to CI becomes critical. However, even frontier models remain unreliable in making disclosure decisions, and existing mitigation strategies often degrade underlying task performance. To overcome this privacy-utility trade-off, we propose SELFCI, a complementary self-distillation framework that decouples information suppression from task resolution. SELFCI jointly optimizes two independent reverse KL divergences over distinct teacher distributions derived from feedback: one encourages preserving task-relevant information for utility, while the other enforces minimal and appropriate disclosure. This complementary formulation induces a Product-of-Experts (PoE) target, aligning the policy with the intersection of capability and privacy requirements. Empirical evaluations demonstrate that SELFCI, without relying on costly external supervision, consistently outperforms competitive baselines such as online reinforcement learning algorithms (e.g., GRPO). These trends further extend to out-of-domain settings involving agentic workflows and accumulated private context, suggesting that SELFCI provides a practical path toward CI alignment.