PrivacyAlign: Kontextuelle Privatsphärenausrichtung für LLM-Agenten

Zusammenfassung

KI-Agenten, die im Auftrag von Nutzern handeln, treffen ständig Entscheidungen. Damit Nutzer ihren Agenten vertrauen können, müssen diese Entscheidungen mit ihren tatsächlichen Wünschen übereinstimmen. Datenschutz ist ein wichtiges Ausrichtungsproblem für Agenten: Jede Nachricht, jeder Beitrag oder jeder Tool-Aufruf eines Agenten ist eine kontextbezogene Entscheidung darüber, was in welchem Umfang und unter welchen Bedingungen angemessen geteilt werden kann. Da solche Entscheidungen von sozialen Erwartungen und Normen abhängen, beschränkt sich menschliches Urteilsvermögen nicht nur auf die Kennzeichnung von Datenschutzverletzungen, sondern trägt auch zu deren Definition bei. Während bestehende Arbeiten auf unzuverlässigen Stellvertretern sowohl für Training als auch Evaluation beruhen, stellen wir menschliches Urteilsvermögen in den Mittelpunkt der agentischen Datenschutzausrichtung. Wir führen PrivacyAlign ein, einen Datensatz mit 1.350 Stichproben und 3.516 detaillierten Annotationen von 599 eindeutigen Annotatoren in verschiedenen Szenarien, in denen aktuelle LLMs tatsächlich Daten preisgeben, und nutzen ihn, um sowohl Ausrichtungstraining als auch automatisierte Evaluation in menschlichen Datenschutznormen zu verankern. Aufbauend auf diesen Annotationen zeigen wir zunächst, dass die Konditionierung von LLM-Richtern auf menschliche Annotationen und Erklärungen für Referenzantworten auf denselben Prompt ihre Urteile zuverlässiger macht. Anschließend führen wir annotationskonditionierte Belohnungsmodellierung ein, die diese Annotationen nutzt, um neue Antworten während des RL zu bewerten, und zeigen, dass kleine Open-Weight-Agenten, die mit dieser Belohnung trainiert wurden, besser mit menschlichen Datenschutznormen übereinstimmen, mit deutlichen Verbesserungen auf PrivacyAlign und bestehenden Datenschutz-Benchmarks für Agenten.

English

AI agents acting on behalf of users are constantly making decisions, and for users to trust their agents, those decisions must align with what they actually want. Privacy is an important alignment problem for agents: every message, post, or tool call an agent makes is a contextual judgment about what is appropriate to share, with whom, and under which conditions. Because such judgments depend on social expectations and norms, human judgment does not merely label privacy violations but also helps define them. While existing work relies on unreliable proxies for both training and evaluation, we place human judgment at the center of agentic privacy alignment. We introduce PrivacyAlign, a dataset of 1,350 samples with 3,516 detailed annotations from 599 unique annotators across diverse scenarios where current LLMs actually leak, and use it to ground both alignment training and automated evaluation in human privacy norms. Building on these annotations, we first show that conditioning LLM judges on human annotations and explanations for reference responses to the same prompt makes their judgments more reliable. We then introduce annotation-conditioned reward modeling, which uses these annotations to score new responses during RL, and show that small open-weight agents trained with this reward better align with human privacy norms, with strong gains on PrivacyAlign and existing privacy benchmarks for agents.