Investigando Alucinações em Conversas para Idiomas de Baixos Recursos
Investigating Hallucination in Conversations for Low Resource Languages
July 30, 2025
Autores: Amit Das, Md. Najib Hasan, Souvika Sarkar, Zheng Zhang, Fatemeh Jamshidi, Tathagata Bhattacharya, Nilanjana Raychawdhury, Dongji Feng, Vinija Jain, Aman Chadha
cs.AI
Resumo
Os Modelos de Linguagem de Grande Escala (LLMs, na sigla em inglês) demonstraram uma proficiência notável na geração de textos que se assemelham muito à escrita humana. No entanto, eles frequentemente produzem declarações factualmente incorretas, um problema comumente referido como 'alucinação'. Abordar a alucinação é crucial para aumentar a confiabilidade e a eficácia dos LLMs. Embora grande parte da pesquisa tenha se concentrado em alucinações em inglês, nosso estudo estende essa investigação para dados conversacionais em três idiomas: hindi, farsi e mandarim. Oferecemos uma análise abrangente de um conjunto de dados para examinar tanto erros factuais quanto linguísticos nesses idiomas para GPT-3.5, GPT-4o, Llama-3.1, Gemma-2.0, DeepSeek-R1 e Qwen-3. Descobrimos que os LLMs produzem muito poucas respostas alucinadas em mandarim, mas geram um número significativamente maior de alucinações em hindi e farsi.
English
Large Language Models (LLMs) have demonstrated remarkable proficiency in
generating text that closely resemble human writing. However, they often
generate factually incorrect statements, a problem typically referred to as
'hallucination'. Addressing hallucination is crucial for enhancing the
reliability and effectiveness of LLMs. While much research has focused on
hallucinations in English, our study extends this investigation to
conversational data in three languages: Hindi, Farsi, and Mandarin. We offer a
comprehensive analysis of a dataset to examine both factual and linguistic
errors in these languages for GPT-3.5, GPT-4o, Llama-3.1, Gemma-2.0,
DeepSeek-R1 and Qwen-3. We found that LLMs produce very few hallucinated
responses in Mandarin but generate a significantly higher number of
hallucinations in Hindi and Farsi.