PERSONA : Un banc d'essai reproductible pour l'alignement pluraliste

PERSONA: A Reproducible Testbed for Pluralistic Alignment

July 24, 2024

Auteurs: Louis Castricato, Nathan Lile, Rafael Rafailov, Jan-Philipp Fränken, Chelsea Finn

cs.AI

Résumé

L'avancée rapide des modèles de langage (LMs) nécessite un alignement robuste avec les valeurs diversifiées des utilisateurs. Cependant, les approches actuelles d'optimisation des préférences échouent souvent à capturer la pluralité des opinions des utilisateurs, renforçant plutôt les points de vue majoritaires et marginalisant les perspectives minoritaires. Nous présentons PERSONA, un banc d'essai reproductible conçu pour évaluer et améliorer l'alignement pluraliste des LMs. Nous générons de manière procédurale des profils d'utilisateurs variés à partir des données du recensement américain, aboutissant à 1 586 personas synthétiques dotées d'attributs démographiques et idiosyncrasiques divers. Nous générons ensuite un ensemble de données d'évaluation à grande échelle contenant 3 868 invites et 317 200 paires de retours obtenus de nos personas synthétiques. En exploitant cet ensemble de données, nous évaluons systématiquement les capacités des LMs à jouer le rôle d'utilisateurs diversifiés, vérifiées par des juges humains, et établissons à la fois un benchmark, PERSONA Bench, pour les approches d'alignement pluraliste ainsi qu'un ensemble de données étendu pour créer de nouveaux benchmarks futurs. L'ensemble complet des données et des benchmarks est disponible ici : https://www.synthlabs.ai/research/persona.

English

The rapid advancement of language models (LMs) necessitates robust alignment with diverse user values. However, current preference optimization approaches often fail to capture the plurality of user opinions, instead reinforcing majority viewpoints and marginalizing minority perspectives. We introduce PERSONA, a reproducible test bed designed to evaluate and improve pluralistic alignment of LMs. We procedurally generate diverse user profiles from US census data, resulting in 1,586 synthetic personas with varied demographic and idiosyncratic attributes. We then generate a large-scale evaluation dataset containing 3,868 prompts and 317,200 feedback pairs obtained from our synthetic personas. Leveraging this dataset, we systematically evaluate LM capabilities in role-playing diverse users, verified through human judges, and the establishment of both a benchmark, PERSONA Bench, for pluralistic alignment approaches as well as an extensive dataset to create new and future benchmarks. The full dataset and benchmarks are available here: https://www.synthlabs.ai/research/persona.