DIWALI - Diversité et Inclusion dans les éléments culturels spécifiques à l'Inde : Base de données et évaluation des modèles de langage pour l'adaptation de textes culturels dans le contexte indien

DIWALI - Diversity and Inclusivity aWare cuLture specific Items for India: Dataset and Assessment of LLMs for Cultural Text Adaptation in Indian Context

September 22, 2025

papers.authors: Pramit Sahoo, Maharaj Brahma, Maunendra Sankar Desarkar

cs.AI

papers.abstract

Les grands modèles de langage (LLMs) sont largement utilisés dans diverses tâches et applications. Cependant, malgré leurs vastes capacités, il a été démontré qu'ils manquent d'alignement culturel (ryan-etal-2024-unintended, alkhamissi-etal-2024-investigating) et produisent des générations biaisées (naous-etal-2024-beer) en raison d'un manque de connaissances et de compétences culturelles. L'évaluation des LLMs pour la sensibilisation et l'alignement culturels est particulièrement difficile en raison de l'absence de métriques d'évaluation appropriées et de la disponibilité limitée de jeux de données culturellement ancrés représentant la complexité des cultures aux niveaux régional et sous-régional. Les jeux de données existants pour les éléments spécifiques à la culture (CSIs) se concentrent principalement sur des concepts au niveau régional et peuvent contenir des faux positifs. Pour résoudre ce problème, nous introduisons un nouveau jeu de données CSI pour la culture indienne, appartenant à 17 facettes culturelles. Le jeu de données comprend sim8k concepts culturels provenant de 36 sous-régions. Pour mesurer la compétence culturelle des LLMs sur une tâche d'adaptation de texte culturel, nous évaluons les adaptations en utilisant les CSIs créés, LLM comme juge, et des évaluations humaines provenant de diverses régions socio-démographiques. De plus, nous effectuons une analyse quantitative démontrant une couverture sélective des sous-régions et des adaptations superficielles pour tous les LLMs considérés. Notre jeu de données est disponible ici : https://huggingface.co/datasets/nlip/DIWALI{https://huggingface.co/datasets/nlip/DIWALI}, la page web du projet \href{https://nlip-lab.github.io/nlip/publications/diwali/{https://nlip-lab.github.io/nlip/publications/diwali/}}, et notre base de code avec les sorties des modèles peut être trouvée ici : https://github.com/pramitsahoo/culture-evaluation{https://github.com/pramitsahoo/culture-evaluation}.

English

Large language models (LLMs) are widely used in various tasks and applications. However, despite their wide capabilities, they are shown to lack cultural alignment ryan-etal-2024-unintended, alkhamissi-etal-2024-investigating and produce biased generations naous-etal-2024-beer due to a lack of cultural knowledge and competence. Evaluation of LLMs for cultural awareness and alignment is particularly challenging due to the lack of proper evaluation metrics and unavailability of culturally grounded datasets representing the vast complexity of cultures at the regional and sub-regional levels. Existing datasets for culture specific items (CSIs) focus primarily on concepts at the regional level and may contain false positives. To address this issue, we introduce a novel CSI dataset for Indian culture, belonging to 17 cultural facets. The dataset comprises sim8k cultural concepts from 36 sub-regions. To measure the cultural competence of LLMs on a cultural text adaptation task, we evaluate the adaptations using the CSIs created, LLM as Judge, and human evaluations from diverse socio-demographic region. Furthermore, we perform quantitative analysis demonstrating selective sub-regional coverage and surface-level adaptations across all considered LLMs. Our dataset is available here: https://huggingface.co/datasets/nlip/DIWALI{https://huggingface.co/datasets/nlip/DIWALI}, project webpage\href{https://nlip-lab.github.io/nlip/publications/diwali/{https://nlip-lab.github.io/nlip/publications/diwali/}}, and our codebase with model outputs can be found here: https://github.com/pramitsahoo/culture-evaluation{https://github.com/pramitsahoo/culture-evaluation}.