Исследование галлюцинаций в диалогах для языков с ограниченными ресурсами
Investigating Hallucination in Conversations for Low Resource Languages
July 30, 2025
Авторы: Amit Das, Md. Najib Hasan, Souvika Sarkar, Zheng Zhang, Fatemeh Jamshidi, Tathagata Bhattacharya, Nilanjana Raychawdhury, Dongji Feng, Vinija Jain, Aman Chadha
cs.AI
Аннотация
Крупные языковые модели (LLM) продемонстрировали впечатляющую способность генерировать текст, который близко напоминает человеческое письмо. Однако они часто создают фактические ошибки, проблема, обычно называемая «галлюцинациями». Устранение галлюцинаций имеет решающее значение для повышения надежности и эффективности LLM. В то время как большая часть исследований была сосредоточена на галлюцинациях в английском языке, наше исследование расширяет эту работу на разговорные данные на трех языках: хинди, фарси и китайском (мандарин). Мы предлагаем всесторонний анализ набора данных для изучения как фактических, так и лингвистических ошибок в этих языках для моделей GPT-3.5, GPT-4o, Llama-3.1, Gemma-2.0, DeepSeek-R1 и Qwen-3. Мы обнаружили, что LLM генерируют очень мало галлюцинаций в китайском языке, но создают значительно большее количество галлюцинаций в хинди и фарси.
English
Large Language Models (LLMs) have demonstrated remarkable proficiency in
generating text that closely resemble human writing. However, they often
generate factually incorrect statements, a problem typically referred to as
'hallucination'. Addressing hallucination is crucial for enhancing the
reliability and effectiveness of LLMs. While much research has focused on
hallucinations in English, our study extends this investigation to
conversational data in three languages: Hindi, Farsi, and Mandarin. We offer a
comprehensive analysis of a dataset to examine both factual and linguistic
errors in these languages for GPT-3.5, GPT-4o, Llama-3.1, Gemma-2.0,
DeepSeek-R1 and Qwen-3. We found that LLMs produce very few hallucinated
responses in Mandarin but generate a significantly higher number of
hallucinations in Hindi and Farsi.