PrivacyAlign : Alignement contextuel de la vie privée pour les agents LLM

Résumé

Les agents d’IA agissant au nom des utilisateurs prennent constamment des décisions ; pour que ceux-ci fassent confiance à leurs agents, ces décisions doivent correspondre à ce qu’ils souhaitent réellement. La vie privée constitue un problème d’alignement important pour les agents : chaque message, publication ou appel d’outil effectué par un agent est un jugement contextuel sur ce qu’il est approprié de partager, avec qui et dans quelles conditions. Parce que ces jugements dépendent d’attentes et de normes sociales, le jugement humain ne se contente pas d’étiqueter les violations de la vie privée, il contribue aussi à les définir. Alors que les travaux existants s’appuient sur des proxies peu fiables tant pour l’entraînement que pour l’évaluation, nous plaçons le jugement humain au cœur de l’alignement des agents sur la vie privée. Nous présentons PrivacyAlign, un jeu de données de 1 350 échantillons avec 3 516 annotations détaillées provenant de 599 annotateurs uniques, couvrant divers scénarios où les LLM actuels divulguent effectivement des informations, et l’utilisons pour ancrer à la fois l’entraînement à l’alignement et l’évaluation automatisée dans les normes humaines de confidentialité. À partir de ces annotations, nous montrons d’abord que conditionner les juges LLM sur les annotations et explications humaines pour des réponses de référence à la même invite rend leurs jugements plus fiables. Nous introduisons ensuite la modélisation par récompense conditionnée par les annotations, qui utilise ces annotations pour noter de nouvelles réponses pendant l’apprentissage par renforcement (RL), et montrons que de petits agents à poids ouverts entraînés avec cette récompense s’alignent mieux sur les normes humaines de confidentialité, avec des gains importants sur PrivacyAlign et les benchmarks de confidentialité existants pour les agents.

English

AI agents acting on behalf of users are constantly making decisions, and for users to trust their agents, those decisions must align with what they actually want. Privacy is an important alignment problem for agents: every message, post, or tool call an agent makes is a contextual judgment about what is appropriate to share, with whom, and under which conditions. Because such judgments depend on social expectations and norms, human judgment does not merely label privacy violations but also helps define them. While existing work relies on unreliable proxies for both training and evaluation, we place human judgment at the center of agentic privacy alignment. We introduce PrivacyAlign, a dataset of 1,350 samples with 3,516 detailed annotations from 599 unique annotators across diverse scenarios where current LLMs actually leak, and use it to ground both alignment training and automated evaluation in human privacy norms. Building on these annotations, we first show that conditioning LLM judges on human annotations and explanations for reference responses to the same prompt makes their judgments more reliable. We then introduce annotation-conditioned reward modeling, which uses these annotations to score new responses during RL, and show that small open-weight agents trained with this reward better align with human privacy norms, with strong gains on PrivacyAlign and existing privacy benchmarks for agents.