DIWALI — Разнообразие и инклюзивность в культурно-специфичных элементах для Индии: набор данных и оценка языковых моделей для адаптации текста в индийском контексте
DIWALI - Diversity and Inclusivity aWare cuLture specific Items for India: Dataset and Assessment of LLMs for Cultural Text Adaptation in Indian Context
September 22, 2025
Авторы: Pramit Sahoo, Maharaj Brahma, Maunendra Sankar Desarkar
cs.AI
Аннотация
Крупные языковые модели (LLM) широко используются в различных задачах и приложениях. Однако, несмотря на их обширные возможности, они демонстрируют недостаток культурной адаптации [ryan-etal-2024-unintended, alkhamissi-etal-2024-investigating] и порождают предвзятые результаты [naous-etal-2024-beer] из-за отсутствия культурных знаний и компетенции. Оценка LLM на предмет культурной осведомленности и адаптации особенно сложна из-за отсутствия подходящих метрик оценки и недостатка культурно-ориентированных наборов данных, отражающих сложность культур на региональном и субрегиональном уровнях. Существующие наборы данных для культурно-специфичных элементов (CSI) в основном сосредоточены на концепциях регионального уровня и могут содержать ложные срабатывания. Для решения этой проблемы мы представляем новый набор данных CSI для индийской культуры, охватывающий 17 культурных аспектов. Набор данных включает около 8000 культурных концепций из 36 субрегионов. Чтобы измерить культурную компетенцию LLM в задаче адаптации культурного текста, мы оцениваем адаптации с использованием созданных CSI, LLM в роли судьи и человеческих оценок из различных социодемографических регионов. Кроме того, мы проводим количественный анализ, демонстрирующий избирательное охват субрегионов и поверхностные адаптации во всех рассмотренных LLM. Наш набор данных доступен здесь: https://huggingface.co/datasets/nlip/DIWALI, страница проекта: https://nlip-lab.github.io/nlip/publications/diwali/, а наш код с выводами моделей можно найти здесь: https://github.com/pramitsahoo/culture-evaluation.
English
Large language models (LLMs) are widely used in various tasks and
applications. However, despite their wide capabilities, they are shown to lack
cultural alignment ryan-etal-2024-unintended,
alkhamissi-etal-2024-investigating and produce biased generations
naous-etal-2024-beer due to a lack of cultural knowledge and competence.
Evaluation of LLMs for cultural awareness and alignment is particularly
challenging due to the lack of proper evaluation metrics and unavailability of
culturally grounded datasets representing the vast complexity of cultures at
the regional and sub-regional levels. Existing datasets for culture specific
items (CSIs) focus primarily on concepts at the regional level and may contain
false positives. To address this issue, we introduce a novel CSI dataset for
Indian culture, belonging to 17 cultural facets. The dataset comprises sim8k
cultural concepts from 36 sub-regions. To measure the cultural competence of
LLMs on a cultural text adaptation task, we evaluate the adaptations using the
CSIs created, LLM as Judge, and human evaluations from diverse
socio-demographic region. Furthermore, we perform quantitative analysis
demonstrating selective sub-regional coverage and surface-level adaptations
across all considered LLMs. Our dataset is available here:
https://huggingface.co/datasets/nlip/DIWALI{https://huggingface.co/datasets/nlip/DIWALI},
project
webpage\href{https://nlip-lab.github.io/nlip/publications/diwali/{https://nlip-lab.github.io/nlip/publications/diwali/}},
and our codebase with model outputs can be found here:
https://github.com/pramitsahoo/culture-evaluation{https://github.com/pramitsahoo/culture-evaluation}.