Parametrische Injektion und Diversifikation sozialer Identität in der Simulation öffentlicher Meinung

Zusammenfassung

Große Sprachmodelle (Large Language Models, LLMs) werden seit Kurzem als synthetische Agenten zur Simulation öffentlicher Meinungen eingesetzt und bieten eine vielversprechende Alternative zu kostspieligen und langsamen Umfragen unter Menschen. Trotz ihrer Skalierbarkeit gelingt es aktuellen LLM-basierten Simulationsmethoden nicht, soziale Diversität abzubilden; sie erzeugen abgeflachte Unterschiede zwischen Gruppen und übermäßig homogene Antworten über demografische Gruppen hinweg. Wir identifizieren diese Einschränkung als ein Phänomen des Diversitätskollapses (Diversity Collapse) in den verborgenen Repräsentationen von LLMs, bei dem unterschiedliche soziale Identitäten über die Schichten hinweg zunehmend ununterscheidbar werden. Ausgehend von dieser Beobachtung schlagen wir die Parametrische Injektion sozialer Identität (Parametric Social Identity Injection, PSII) vor, ein allgemeines Rahmenwerk, das explizite, parametrische Darstellungen demografischer Merkmale und Wertorientierungen direkt in die verborgenen Zwischenzustände von LLMs einbringt. Im Gegensatz zur prompt-basierten Persona-Konditionierung ermöglicht PSII eine feinkörnige und steuerbare Modulation der Identität auf Repräsentationsebene. Umfangreiche Experimente mit der World Values Survey und mehreren Open-Source-LLMs zeigen, dass PSII die Verteilungstreue und Diversität signifikant verbessert, die KL-Divergenz zu realen Umfragedaten reduziert und gleichzeitig die Gesamtdiversität erhöht. Diese Arbeit liefert neue Erkenntnisse zur Steuerung auf Repräsentationsebene von LLM-Agenten und fördert die skalierbare, diversitätsbewusste Simulation öffentlicher Meinungen.

English

Large language models (LLMs) have recently been adopted as synthetic agents for public opinion simulation, offering a promising alternative to costly and slow human surveys. Despite their scalability, current LLM-based simulation methods fail to capture social diversity, producing flattened inter-group differences and overly homogeneous responses across demographic groups. We identify this limitation as a Diversity Collapse phenomenon in LLM hidden representations, where distinct social identities become increasingly indistinguishable across layers. Motivated by this observation, we propose Parametric Social Identity Injection (PSII), a general framework that injects explicit, parametric representations of demographic attributes and value orientations directly into intermediate hidden states of LLMs. Unlike prompt-based persona conditioning, PSII enables fine-grained and controllable identity modulation at the representation level. Extensive experiments on the World Values Survey using multiple open-source LLMs show that PSII significantly improves distributional fidelity and diversity, reducing KL divergence to real-world survey data while enhancing overall diversity. This work provides new insights into representation-level control of LLM agents and advances scalable, diversity-aware public opinion simulation.