Предполагаемая культурная идентичность: как имена влияют на ответы языковых моделей

Presumed Cultural Identity: How Names Shape LLM Responses

February 17, 2025

Авторы: Siddhesh Pawar, Arnav Arora, Lucie-Aimée Kaffee, Isabelle Augenstein

cs.AI

Аннотация

Имена тесно связаны с человеческой идентичностью. Они могут служить маркерами индивидуальности, культурного наследия и личной истории. Однако использование имен в качестве основного индикатора идентичности может привести к упрощению сложных идентичностей. При взаимодействии с языковыми моделями (LLM) имена пользователей являются важным источником информации для персонализации. Имена могут появляться в диалогах с чат-ботами через прямое введение пользователем (запрашиваемое ботами), в контексте задач, таких как анализ резюме, или в качестве встроенных функций памяти, которые сохраняют информацию о пользователе для персонализации. Мы исследуем предубеждения, связанные с именами, измеряя культурные предположения в ответах, генерируемых LLM, на типичные запросы, связанные с поиском рекомендаций, которые могут включать предположения о пользователе. Наши анализы демонстрируют сильные предположения о культурной идентичности, связанной с именами, которые присутствуют в генерациях LLM для различных культур. Наша работа имеет значение для проектирования более тонких систем персонализации, которые избегают усиления стереотипов, сохраняя при этом значимую настройку.

English

Names are deeply tied to human identity. They can serve as markers of individuality, cultural heritage, and personal history. However, using names as a core indicator of identity can lead to over-simplification of complex identities. When interacting with LLMs, user names are an important point of information for personalisation. Names can enter chatbot conversations through direct user input (requested by chatbots), as part of task contexts such as CV reviews, or as built-in memory features that store user information for personalisation. We study biases associated with names by measuring cultural presumptions in the responses generated by LLMs when presented with common suggestion-seeking queries, which might involve making assumptions about the user. Our analyses demonstrate strong assumptions about cultural identity associated with names present in LLM generations across multiple cultures. Our work has implications for designing more nuanced personalisation systems that avoid reinforcing stereotypes while maintaining meaningful customisation.