Fortschreitendes Training für erklärbare zitiergestützte Dialoge: Reduzierung von Halluzinationen auf Null in englisch-hindi LLMs
Progressive Training for Explainable Citation-Grounded Dialogue: Reducing Hallucination to Zero in English-Hindi LLMs
March 19, 2026
Autoren: Vedant Pandya
cs.AI
Zusammenfassung
Wissensbasierte Dialogsysteme zielen darauf ab, informative, kontextuell relevante Antworten zu generieren, indem sie externe Wissensquellen einbeziehen. Die meisten bestehenden Ansätze konzentrieren sich jedoch ausschließlich auf Englisch, verfügen über keine expliziten Zitationsmechanismen zur Überprüfung faktischer Behauptungen und bieten nur begrenzte Transparenz in die Modellentscheidungsfindung. Wir stellen XKD-Dial vor, eine progressive Vier-Stufen-Trainingspipeline für erklärbare, wissensbasierte Dialoggenerierung in einem zweisprachigen (Englisch-Hindi) Kontext, die umfasst: (1) multilinguale Adaptation, (2) Englisch-Dialog-SFT (Supervised Fine-Tuning) mit Zitationsverankerung, (3) zweisprachige Dialog-SFT und (4) GRPO-Alignment (Group Relative Policy Optimization) mit zitationsbewussten Belohnungen. Wir evaluieren sechs Modelle mit Encoder-Decoder- (250M-3B) und Decoder-only-Architekturen (1B-7B) in jeder Pipeline-Stufe. Unsere Hauptbeiträge sind: (i) drei post-hoc-Erklärbarkeitsanalysen – Cross-Attention-Alignment, Attribuierung mittels Integrated Gradients und okklusionsbasierte kausale Verankerung –, die systematisch über den Trainingsverlauf angewendet werden, um aufzuzeigen, *wie* Zitationsverhalten gelernt wird, nicht nur *ob* es gelernt wird; (ii) zitationsverankerte SFT reduziert Halluzinationen für Encoder-Decoder-Modelle ab Stufe 2 auf 0,0 %; (iii) die progressive Pipeline verhindert katastrophales Vergessen und verbessert gleichzeitig die Hindi-Fähigkeiten; (iv) kleinere Modelle erreichen nach SFT vergleichbare Leistungen wie größere Modelle im Englischen; und (v) GRPO bringt nur marginale Verbesserungen gegenüber gut gestalteter SFT für strukturierte Zitationsaufgaben. Die Evaluation erfolgt anhand sechs automatischer Metriken (BLEU, ROUGE, BERTScore, FactScore, Citation-F1 und Halluzinationsrate).
English
Knowledge-grounded dialogue systems aim to generate informative, contextually relevant responses by conditioning on external knowledge sources. However, most existing approaches focus exclusively on English, lack explicit citation mechanisms for verifying factual claims, and offer limited transparency into model decision-making. We present XKD-Dial, a progressive four-stage training pipeline for explainable, knowledge-grounded dialogue generation in a bilingual (English-Hindi) setting, comprising: (1) multilingual adaptation, (2) English dialogue SFT with citation grounding, (3) bilingual dialogue SFT, and (4) GRPO alignment with citation-aware rewards. We evaluate six models spanning encoder-decoder (250M-3B) and decoder-only (1B-7B) architectures at every pipeline stage. Our key contributions are: (i) three post-hoc explainability analyses - cross-attention alignment, Integrated Gradients attribution, and occlusion-based causal grounding - applied systematically across the training trajectory to reveal how citation behaviour is learned, not only whether it is learned; (ii) citation-grounded SFT reduces hallucination to 0.0% for encoder-decoder models from Stage 2 onward; (iii) the progressive pipeline prevents catastrophic forgetting while improving Hindi capabilities; (iv) smaller models match larger models on English after SFT; and (v) GRPO provides marginal improvement over well-designed SFT for structured citation tasks. We evaluate across six automatic metrics (BLEU, ROUGE, BERTScore, FactScore, Citation-F1, and hallucination rate).