PERSONA: Un Banco de Pruebas Reproducible para la Alineación Pluralística

PERSONA: A Reproducible Testbed for Pluralistic Alignment

July 24, 2024

Autores: Louis Castricato, Nathan Lile, Rafael Rafailov, Jan-Philipp Fränken, Chelsea Finn

cs.AI

Resumen

El rápido avance de los modelos de lenguaje (LMs) requiere una alineación sólida con diversos valores de usuario. Sin embargo, los enfoques actuales de optimización de preferencias a menudo no logran capturar la pluralidad de opiniones de los usuarios, en lugar de ello refuerzan los puntos de vista mayoritarios y marginan las perspectivas minoritarias. Presentamos PERSONA, un banco de pruebas reproducible diseñado para evaluar y mejorar la alineación pluralista de LMs. Generamos de forma procedural perfiles de usuario diversos a partir de datos del censo de EE. UU., lo que resulta en 1,586 personas sintéticas con atributos demográficos e idiosincráticos variados. Luego generamos un conjunto de datos de evaluación a gran escala que contiene 3,868 indicaciones y 317,200 pares de retroalimentación obtenidos de nuestras personas sintéticas. Aprovechando este conjunto de datos, evaluamos sistemáticamente las capacidades de los LM para interpretar roles de diversos usuarios, verificados por jueces humanos, y el establecimiento tanto de un punto de referencia, PERSONA Bench, para enfoques de alineación pluralista, como de un extenso conjunto de datos para crear nuevos y futuros puntos de referencia. El conjunto de datos completo y los puntos de referencia están disponibles aquí: https://www.synthlabs.ai/research/persona.

English

The rapid advancement of language models (LMs) necessitates robust alignment with diverse user values. However, current preference optimization approaches often fail to capture the plurality of user opinions, instead reinforcing majority viewpoints and marginalizing minority perspectives. We introduce PERSONA, a reproducible test bed designed to evaluate and improve pluralistic alignment of LMs. We procedurally generate diverse user profiles from US census data, resulting in 1,586 synthetic personas with varied demographic and idiosyncratic attributes. We then generate a large-scale evaluation dataset containing 3,868 prompts and 317,200 feedback pairs obtained from our synthetic personas. Leveraging this dataset, we systematically evaluate LM capabilities in role-playing diverse users, verified through human judges, and the establishment of both a benchmark, PERSONA Bench, for pluralistic alignment approaches as well as an extensive dataset to create new and future benchmarks. The full dataset and benchmarks are available here: https://www.synthlabs.ai/research/persona.