PrivacyAlign: alineamiento de privacidad contextual para agentes LLM

Resumen

Los agentes de IA que actúan en nombre de los usuarios toman decisiones constantemente, y para que estos confíen en sus agentes, dichas decisiones deben alinearse con lo que realmente desean. La privacidad constituye un problema de alineación crucial para los agentes: cada mensaje, publicación o llamada a herramienta que realiza un agente implica un juicio contextual sobre qué es apropiado compartir, con quién y bajo qué condiciones. Dado que tales juicios dependen de expectativas y normas sociales, el juicio humano no solo etiqueta las violaciones de privacidad, sino que también contribuye a definirlas. Mientras que los trabajos existentes se apoyan en indicadores indirectos poco fiables tanto para el entrenamiento como para la evaluación, nosotros situamos el juicio humano en el centro de la alineación de privacidad de los agentes. Presentamos PrivacyAlign, un conjunto de datos de 1,350 muestras con 3,516 anotaciones detalladas de 599 anotadores únicos en diversos escenarios en los que los LLM actuales realmente filtran información, y lo utilizamos para fundamentar tanto el entrenamiento de alineación como la evaluación automatizada en las normas humanas de privacidad. A partir de estas anotaciones, primero demostramos que condicionar a los jueces LLM en anotaciones y explicaciones humanas para respuestas de referencia a la misma indicación hace que sus juicios sean más fiables. Luego introducimos el modelado de recompensa condicionado por anotaciones, que utiliza estas anotaciones para puntuar nuevas respuestas durante el RL, y mostramos que los agentes pequeños de pesos abiertos entrenados con esta recompensa se alinean mejor con las normas humanas de privacidad, con fuertes mejoras en PrivacyAlign y en los puntos de referencia de privacidad existentes para agentes.

English

AI agents acting on behalf of users are constantly making decisions, and for users to trust their agents, those decisions must align with what they actually want. Privacy is an important alignment problem for agents: every message, post, or tool call an agent makes is a contextual judgment about what is appropriate to share, with whom, and under which conditions. Because such judgments depend on social expectations and norms, human judgment does not merely label privacy violations but also helps define them. While existing work relies on unreliable proxies for both training and evaluation, we place human judgment at the center of agentic privacy alignment. We introduce PrivacyAlign, a dataset of 1,350 samples with 3,516 detailed annotations from 599 unique annotators across diverse scenarios where current LLMs actually leak, and use it to ground both alignment training and automated evaluation in human privacy norms. Building on these annotations, we first show that conditioning LLM judges on human annotations and explanations for reference responses to the same prompt makes their judgments more reliable. We then introduce annotation-conditioned reward modeling, which uses these annotations to score new responses during RL, and show that small open-weight agents trained with this reward better align with human privacy norms, with strong gains on PrivacyAlign and existing privacy benchmarks for agents.