Parametrische injectie en diversificatie van sociale identiteit in publieke opiniesimulatie

Samenvatting

Grote taalmodellen (LLM's) worden recentelijk gebruikt als synthetische agenten voor de simulatie van publieke opinie, wat een veelbelovend alternatief biedt voor dure en langzame menselijke enquêtes. Ondanks hun schaalbaarheid slagen huidige op LLM gebaseerde simulatiemethoden er niet in om sociale diversiteit te vatten; ze produceren afgeplatte intergroepsverschillen en te homogene reacties over demografische groepen heen. We identificeren deze beperking als een fenomeen van 'diversiteitsinstorting' in de verborgen representaties van LLM's, waarbij verschillende sociale identiteiten in toenemende mate ononderscheidbaar worden naarmate lagen vorderen. Gemotiveerd door deze observatie stellen we Parametrische Sociale Identiteitsinjectie (PSII) voor, een algemeen raamwerk dat expliciete, parametrische representaties van demografische kenmerken en waardeoriëntaties rechtstreeks in de intermediaire verborgen toestanden van LLM's injecteert. In tegenstelling tot op prompts gebaseerde personacontextualisering maakt PSII een fijnmazige en controleerbare identiteitsmodulatie op representatieniveau mogelijk. Uitgebreide experimenten op de World Values Survey met meerdere open-source LLM's tonen aan dat PSII de distributionele getrouwheid en diversiteit aanzienlijk verbetert, waarbij de KL-divergentie met echte enquêtegegevens wordt verminderd en de algehele diversiteit wordt vergroot. Dit werk biedt nieuwe inzichten in representatieniveaucontrole van LLM-agenten en bevordert schaalbare, diversiteitsbewuste simulatie van publieke opinie.

English

Large language models (LLMs) have recently been adopted as synthetic agents for public opinion simulation, offering a promising alternative to costly and slow human surveys. Despite their scalability, current LLM-based simulation methods fail to capture social diversity, producing flattened inter-group differences and overly homogeneous responses across demographic groups. We identify this limitation as a Diversity Collapse phenomenon in LLM hidden representations, where distinct social identities become increasingly indistinguishable across layers. Motivated by this observation, we propose Parametric Social Identity Injection (PSII), a general framework that injects explicit, parametric representations of demographic attributes and value orientations directly into intermediate hidden states of LLMs. Unlike prompt-based persona conditioning, PSII enables fine-grained and controllable identity modulation at the representation level. Extensive experiments on the World Values Survey using multiple open-source LLMs show that PSII significantly improves distributional fidelity and diversity, reducing KL divergence to real-world survey data while enhancing overall diversity. This work provides new insights into representation-level control of LLM agents and advances scalable, diversity-aware public opinion simulation.