PERSONA: Een reproduceerbare testomgeving voor pluralistische afstemming

PERSONA: A Reproducible Testbed for Pluralistic Alignment

July 24, 2024

Auteurs: Louis Castricato, Nathan Lile, Rafael Rafailov, Jan-Philipp Fränken, Chelsea Finn

cs.AI

Samenvatting

De snelle vooruitgang van taalmodeltechnologie (LMs) vereist een robuuste afstemming op diverse gebruikerswaarden. Huidige benaderingen voor voorkeursoptimalisatie slagen er echter vaak niet in om de veelheid aan gebruikersopvattingen vast te leggen, en versterken in plaats daarvan meerderheidsstandpunten terwijl minderheidsperspectieven worden gemarginaliseerd. Wij introduceren PERSONA, een reproduceerbare testomgeving die is ontworpen om de pluralistische afstemming van LMs te evalueren en te verbeteren. We genereren procedureel diverse gebruikersprofielen op basis van Amerikaanse volkstellingsgegevens, wat resulteert in 1.586 synthetische persona's met uiteenlopende demografische en idiosyncratische kenmerken. Vervolgens creëren we een grootschalige evaluatiedataset met 3.868 prompts en 317.200 feedbackparen die zijn verkregen van onze synthetische persona's. Met behulp van deze dataset evalueren we systematisch de mogelijkheden van LMs om diverse gebruikers te representeren, wat wordt geverifieerd door menselijke beoordelaars, en stellen we zowel een benchmark, PERSONA Bench, voor pluralistische afstemmingsbenaderingen op als een uitgebreide dataset om nieuwe en toekomstige benchmarks te creëren. De volledige dataset en benchmarks zijn hier beschikbaar: https://www.synthlabs.ai/research/persona.

English

The rapid advancement of language models (LMs) necessitates robust alignment with diverse user values. However, current preference optimization approaches often fail to capture the plurality of user opinions, instead reinforcing majority viewpoints and marginalizing minority perspectives. We introduce PERSONA, a reproducible test bed designed to evaluate and improve pluralistic alignment of LMs. We procedurally generate diverse user profiles from US census data, resulting in 1,586 synthetic personas with varied demographic and idiosyncratic attributes. We then generate a large-scale evaluation dataset containing 3,868 prompts and 317,200 feedback pairs obtained from our synthetic personas. Leveraging this dataset, we systematically evaluate LM capabilities in role-playing diverse users, verified through human judges, and the establishment of both a benchmark, PERSONA Bench, for pluralistic alignment approaches as well as an extensive dataset to create new and future benchmarks. The full dataset and benchmarks are available here: https://www.synthlabs.ai/research/persona.