Investigación sobre la alucinación en conversaciones para lenguas de bajos recursos
Investigating Hallucination in Conversations for Low Resource Languages
July 30, 2025
Autores: Amit Das, Md. Najib Hasan, Souvika Sarkar, Zheng Zhang, Fatemeh Jamshidi, Tathagata Bhattacharya, Nilanjana Raychawdhury, Dongji Feng, Vinija Jain, Aman Chadha
cs.AI
Resumen
Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) han demostrado una notable capacidad para generar textos que se asemejan estrechamente a la escritura humana. Sin embargo, a menudo producen afirmaciones factualmente incorrectas, un problema comúnmente denominado "alucinación". Abordar la alucinación es crucial para mejorar la confiabilidad y efectividad de los LLMs. Si bien gran parte de la investigación se ha centrado en las alucinaciones en inglés, nuestro estudio amplía esta investigación a datos conversacionales en tres idiomas: hindi, farsi y mandarín. Ofrecemos un análisis exhaustivo de un conjunto de datos para examinar tanto errores factuales como lingüísticos en estos idiomas para GPT-3.5, GPT-4o, Llama-3.1, Gemma-2.0, DeepSeek-R1 y Qwen-3. Encontramos que los LLMs producen muy pocas respuestas alucinadas en mandarín, pero generan un número significativamente mayor de alucinaciones en hindi y farsi.
English
Large Language Models (LLMs) have demonstrated remarkable proficiency in
generating text that closely resemble human writing. However, they often
generate factually incorrect statements, a problem typically referred to as
'hallucination'. Addressing hallucination is crucial for enhancing the
reliability and effectiveness of LLMs. While much research has focused on
hallucinations in English, our study extends this investigation to
conversational data in three languages: Hindi, Farsi, and Mandarin. We offer a
comprehensive analysis of a dataset to examine both factual and linguistic
errors in these languages for GPT-3.5, GPT-4o, Llama-3.1, Gemma-2.0,
DeepSeek-R1 and Qwen-3. We found that LLMs produce very few hallucinated
responses in Mandarin but generate a significantly higher number of
hallucinations in Hindi and Farsi.