PERSONA: Un ambiente di test riproducibile per l'allineamento pluralistico

PERSONA: A Reproducible Testbed for Pluralistic Alignment

July 24, 2024

Autori: Louis Castricato, Nathan Lile, Rafael Rafailov, Jan-Philipp Fränken, Chelsea Finn

cs.AI

Abstract

Il rapido progresso dei modelli linguistici (LM) richiede un allineamento robusto con i valori diversificati degli utenti. Tuttavia, gli attuali approcci di ottimizzazione delle preferenze spesso non riescono a cogliere la pluralità delle opinioni degli utenti, rafforzando invece i punti di vista maggioritari e marginalizzando le prospettive minoritarie. Introduciamo PERSONA, un banco di prova riproducibile progettato per valutare e migliorare l'allineamento pluralistico dei LM. Generiamo proceduralmente profili utente diversificati dai dati del censimento statunitense, ottenendo 1.586 persone sintetiche con attributi demografici e idiosincratici variati. Successivamente, generiamo un dataset di valutazione su larga scala contenente 3.868 prompt e 317.200 coppie di feedback ottenute dalle nostre persone sintetiche. Utilizzando questo dataset, valutiamo sistematicamente le capacità dei LM nel rappresentare utenti diversi, verificate attraverso giudici umani, e stabiliamo sia un benchmark, PERSONA Bench, per approcci di allineamento pluralistico, sia un dataset esteso per creare nuovi benchmark futuri. Il dataset completo e i benchmark sono disponibili qui: https://www.synthlabs.ai/research/persona.

English

The rapid advancement of language models (LMs) necessitates robust alignment with diverse user values. However, current preference optimization approaches often fail to capture the plurality of user opinions, instead reinforcing majority viewpoints and marginalizing minority perspectives. We introduce PERSONA, a reproducible test bed designed to evaluate and improve pluralistic alignment of LMs. We procedurally generate diverse user profiles from US census data, resulting in 1,586 synthetic personas with varied demographic and idiosyncratic attributes. We then generate a large-scale evaluation dataset containing 3,868 prompts and 317,200 feedback pairs obtained from our synthetic personas. Leveraging this dataset, we systematically evaluate LM capabilities in role-playing diverse users, verified through human judges, and the establishment of both a benchmark, PERSONA Bench, for pluralistic alignment approaches as well as an extensive dataset to create new and future benchmarks. The full dataset and benchmarks are available here: https://www.synthlabs.ai/research/persona.