PERSONA: Ein reproduzierbares Testumfeld für pluralistische Ausrichtung.

PERSONA: A Reproducible Testbed for Pluralistic Alignment

July 24, 2024

Autoren: Louis Castricato, Nathan Lile, Rafael Rafailov, Jan-Philipp Fränken, Chelsea Finn

cs.AI

Zusammenfassung

Der rasante Fortschritt von Sprachmodellen (LMs) erfordert eine robuste Ausrichtung auf vielfältige Benutzerwerte. Allerdings versagen aktuelle Präferenzoptimierungsansätze oft dabei, die Vielfalt der Benutzermeinungen einzufangen, indem sie mehrheitliche Standpunkte verstärken und Minderheitsperspektiven marginalisieren. Wir stellen PERSONA vor, ein reproduzierbares Testbett, das entwickelt wurde, um die pluralistische Ausrichtung von LMs zu bewerten und zu verbessern. Wir generieren prozedural vielfältige Benutzerprofile aus US-Zensusdaten, was zu 1.586 synthetischen Persönlichkeiten mit unterschiedlichen demografischen und eigenwilligen Merkmalen führt. Anschließend erstellen wir einen umfangreichen Evaluierungsdatensatz mit 3.868 Anfragen und 317.200 Feedback-Paaren, die von unseren synthetischen Persönlichkeiten erhalten wurden. Unter Verwendung dieses Datensatzes evaluieren wir systematisch die Fähigkeiten von LMs, diverse Benutzerrollen zu übernehmen, die durch menschliche Richter verifiziert werden, und die Schaffung sowohl eines Benchmarks, PERSONA Bench, für pluralistische Ausrichtungsansätze als auch eines umfangreichen Datensatzes zur Erstellung neuer und zukünftiger Benchmarks. Der vollständige Datensatz und die Benchmarks sind hier verfügbar: https://www.synthlabs.ai/research/persona.

English

The rapid advancement of language models (LMs) necessitates robust alignment with diverse user values. However, current preference optimization approaches often fail to capture the plurality of user opinions, instead reinforcing majority viewpoints and marginalizing minority perspectives. We introduce PERSONA, a reproducible test bed designed to evaluate and improve pluralistic alignment of LMs. We procedurally generate diverse user profiles from US census data, resulting in 1,586 synthetic personas with varied demographic and idiosyncratic attributes. We then generate a large-scale evaluation dataset containing 3,868 prompts and 317,200 feedback pairs obtained from our synthetic personas. Leveraging this dataset, we systematically evaluate LM capabilities in role-playing diverse users, verified through human judges, and the establishment of both a benchmark, PERSONA Bench, for pluralistic alignment approaches as well as an extensive dataset to create new and future benchmarks. The full dataset and benchmarks are available here: https://www.synthlabs.ai/research/persona.