DIWALI - Diversity and Inclusivity aWare cuLture-specifieke Items voor India: Dataset en Evaluatie van LLM's voor Culturele Tekstaanpassing in de Indiase Context

DIWALI - Diversity and Inclusivity aWare cuLture specific Items for India: Dataset and Assessment of LLMs for Cultural Text Adaptation in Indian Context

September 22, 2025

Auteurs: Pramit Sahoo, Maharaj Brahma, Maunendra Sankar Desarkar

cs.AI

Samenvatting

Grote taalmodellen (LLM's) worden veelvuldig ingezet voor diverse taken en toepassingen. Ondanks hun brede mogelijkheden, blijken ze echter een gebrek te hebben aan culturele afstemming (ryan-etal-2024-unintended, alkhamissi-etal-2024-investigating) en produceren ze bevooroordeelde uitkomsten (naous-etal-2024-beer) vanwege een tekort aan culturele kennis en competentie. Het evalueren van LLM's op cultureel bewustzijn en afstemming is bijzonder uitdagend vanwege het ontbreken van geschikte evaluatiemetrics en het gebrek aan cultureel verankerde datasets die de enorme complexiteit van culturen op regionaal en subregionaal niveau weergeven. Bestaande datasets voor cultuurspecifieke items (CSI's) richten zich voornamelijk op concepten op regionaal niveau en kunnen valse positieven bevatten. Om dit probleem aan te pakken, introduceren we een nieuwe CSI-dataset voor de Indiase cultuur, behorend tot 17 culturele facetten. De dataset omvat sim8k culturele concepten uit 36 subregio's. Om de culturele competentie van LLM's te meten in een taak voor culturele tekstaanpassing, evalueren we de aanpassingen met behulp van de gemaakte CSI's, LLM als beoordelaar, en menselijke evaluaties uit diverse sociaal-demografische regio's. Daarnaast voeren we een kwantitatieve analyse uit die selectieve subregionale dekking en oppervlakkige aanpassingen aantoont bij alle beschouwde LLM's. Onze dataset is hier beschikbaar: https://huggingface.co/datasets/nlip/DIWALI{https://huggingface.co/datasets/nlip/DIWALI}, projectwebpagina\href{https://nlip-lab.github.io/nlip/publications/diwali/{https://nlip-lab.github.io/nlip/publications/diwali/}}, en onze codebase met modeluitvoer is hier te vinden: https://github.com/pramitsahoo/culture-evaluation{https://github.com/pramitsahoo/culture-evaluation}.

English

Large language models (LLMs) are widely used in various tasks and applications. However, despite their wide capabilities, they are shown to lack cultural alignment ryan-etal-2024-unintended, alkhamissi-etal-2024-investigating and produce biased generations naous-etal-2024-beer due to a lack of cultural knowledge and competence. Evaluation of LLMs for cultural awareness and alignment is particularly challenging due to the lack of proper evaluation metrics and unavailability of culturally grounded datasets representing the vast complexity of cultures at the regional and sub-regional levels. Existing datasets for culture specific items (CSIs) focus primarily on concepts at the regional level and may contain false positives. To address this issue, we introduce a novel CSI dataset for Indian culture, belonging to 17 cultural facets. The dataset comprises sim8k cultural concepts from 36 sub-regions. To measure the cultural competence of LLMs on a cultural text adaptation task, we evaluate the adaptations using the CSIs created, LLM as Judge, and human evaluations from diverse socio-demographic region. Furthermore, we perform quantitative analysis demonstrating selective sub-regional coverage and surface-level adaptations across all considered LLMs. Our dataset is available here: https://huggingface.co/datasets/nlip/DIWALI{https://huggingface.co/datasets/nlip/DIWALI}, project webpage\href{https://nlip-lab.github.io/nlip/publications/diwali/{https://nlip-lab.github.io/nlip/publications/diwali/}}, and our codebase with model outputs can be found here: https://github.com/pramitsahoo/culture-evaluation{https://github.com/pramitsahoo/culture-evaluation}.