Veronderstelde Culturele Identiteit: Hoe Namen de Reacties van LLM's Vormgeven

Presumed Cultural Identity: How Names Shape LLM Responses

February 17, 2025

Auteurs: Siddhesh Pawar, Arnav Arora, Lucie-Aimée Kaffee, Isabelle Augenstein

cs.AI

Samenvatting

Namen zijn sterk verbonden met de menselijke identiteit. Ze kunnen dienen als markers van individualiteit, cultureel erfgoed en persoonlijke geschiedenis. Het gebruik van namen als een kernindicator van identiteit kan echter leiden tot een te simplistische weergave van complexe identiteiten. Bij interactie met LLM's (Large Language Models) vormen gebruikersnamen een belangrijk informatiepunt voor personalisatie. Namen kunnen in chatbotgesprekken terechtkomen via directe gebruikersinvoer (gevraagd door chatbots), als onderdeel van taakcontexten zoals CV-beoordelingen, of als ingebouwde geheugenfuncties die gebruikersinformatie opslaan voor personalisatie. Wij bestuderen vooroordelen die aan namen zijn verbonden door culturele aannames te meten in de reacties die door LLM's worden gegenereerd wanneer ze worden gepresenteerd met veelvoorkomende vragen om suggesties, waarbij mogelijk aannames over de gebruiker worden gemaakt. Onze analyses tonen sterke aannames over culturele identiteit die aan namen zijn verbonden in de generaties van LLM's, over meerdere culturen heen. Ons werk heeft implicaties voor het ontwerpen van genuanceerdere personalisatiesystemen die stereotypering vermijden, terwijl ze zinvolle maatwerk blijven bieden.

English

Names are deeply tied to human identity. They can serve as markers of individuality, cultural heritage, and personal history. However, using names as a core indicator of identity can lead to over-simplification of complex identities. When interacting with LLMs, user names are an important point of information for personalisation. Names can enter chatbot conversations through direct user input (requested by chatbots), as part of task contexts such as CV reviews, or as built-in memory features that store user information for personalisation. We study biases associated with names by measuring cultural presumptions in the responses generated by LLMs when presented with common suggestion-seeking queries, which might involve making assumptions about the user. Our analyses demonstrate strong assumptions about cultural identity associated with names present in LLM generations across multiple cultures. Our work has implications for designing more nuanced personalisation systems that avoid reinforcing stereotypes while maintaining meaningful customisation.