Untersuchung von Halluzinationen in Gesprächen für ressourcenarme Sprachen
Investigating Hallucination in Conversations for Low Resource Languages
July 30, 2025
papers.authors: Amit Das, Md. Najib Hasan, Souvika Sarkar, Zheng Zhang, Fatemeh Jamshidi, Tathagata Bhattacharya, Nilanjana Raychawdhury, Dongji Feng, Vinija Jain, Aman Chadha
cs.AI
papers.abstract
Große Sprachmodelle (LLMs) haben eine bemerkenswerte Fähigkeit bewiesen, Texte zu generieren, die menschlichem Schreiben sehr ähneln. Allerdings erzeugen sie oft faktisch falsche Aussagen, ein Problem, das gemeinhin als „Halluzination“ bezeichnet wird. Die Bewältigung von Halluzinationen ist entscheidend, um die Zuverlässigkeit und Effektivität von LLMs zu verbessern. Während sich viel Forschung auf Halluzinationen im Englischen konzentriert hat, erweitert unsere Studie diese Untersuchung auf Konversationsdaten in drei Sprachen: Hindi, Farsi und Mandarin. Wir bieten eine umfassende Analyse eines Datensatzes, um sowohl faktische als auch linguistische Fehler in diesen Sprachen für GPT-3.5, GPT-4o, Llama-3.1, Gemma-2.0, DeepSeek-R1 und Qwen-3 zu untersuchen. Wir fanden heraus, dass LLMs in Mandarin sehr wenige halluzinierte Antworten produzieren, jedoch in Hindi und Farsi eine signifikant höhere Anzahl von Halluzinationen erzeugen.
English
Large Language Models (LLMs) have demonstrated remarkable proficiency in
generating text that closely resemble human writing. However, they often
generate factually incorrect statements, a problem typically referred to as
'hallucination'. Addressing hallucination is crucial for enhancing the
reliability and effectiveness of LLMs. While much research has focused on
hallucinations in English, our study extends this investigation to
conversational data in three languages: Hindi, Farsi, and Mandarin. We offer a
comprehensive analysis of a dataset to examine both factual and linguistic
errors in these languages for GPT-3.5, GPT-4o, Llama-3.1, Gemma-2.0,
DeepSeek-R1 and Qwen-3. We found that LLMs produce very few hallucinated
responses in Mandarin but generate a significantly higher number of
hallucinations in Hindi and Farsi.