Progressieve Training voor Uitlegbare Citaat-Gegronde Dialoog: Het Verminderen van Hallucinaties tot Nul in Engels-Hindi LLM's
Progressive Training for Explainable Citation-Grounded Dialogue: Reducing Hallucination to Zero in English-Hindi LLMs
March 19, 2026
Auteurs: Vedant Pandya
cs.AI
Samenvatting
Kennisgebaseerde dialoogsystemen hebben als doel informatieve, contextueel relevante antwoorden te genereren door zich te baseren op externe kennisbronnen. De meeste bestaande benaderingen richten zich echter uitsluitend op het Engels, ontberen expliciete citatiemechanismen voor het verifiëren van feitelijke beweringen en bieden beperkte transparantie in de besluitvorming van het model. Wij presenteren XKD-Dial, een progressieve vierfasen-trainingspijplijn voor uitlegbare, kennisgebaseerde dialooggeneratie in een tweetalige (Engels-Hindi) setting, bestaande uit: (1) meertalige adaptatie, (2) Engels dialoog-SFT (Supervised Fine-Tuning) met citatiegrondslag, (3) tweetalige dialoog-SFT, en (4) GRPO-afstemming (Group Relative Policy Optimization) met citatiebewuste beloningen. Wij evalueren zes modellen, variërend in encoder-decoder (250M-3B) en decoder-only (1B-7B) architecturen, in elke pijplijnfase. Onze belangrijkste bijdragen zijn: (i) drie *post-hoc* uitlegbaarheidsanalyses - cross-attention-uitlijning, attributie met Integrated Gradients en op occlusie gebaseerde causale grondslag - systematisch toegepast over het leertraject om te onthullen *hoe* citatiegedrag wordt aangeleerd, niet alleen *of* het wordt aangeleerd; (ii) citatiegegrond SFT reduceert hallucinatie tot 0,0% voor encoder-decoder modellen vanaf Fase 2; (iii) de progressieve pijplijn voorkomt catastrofaal vergeten terwijl de Hindi-capaciteiten verbeteren; (iv) kleinere modellen evenaren grotere modellen in het Engels na SFT; en (v) GRPO biedt een marginale verbetering ten opzichte van goed ontworpen SFT voor gestructureerde citatietaken. Wij evalueren aan de hand van zes automatische metrieken (BLEU, ROUGE, BERTScore, FactScore, Citation-F1 en hallucinatiefrequentie).
English
Knowledge-grounded dialogue systems aim to generate informative, contextually relevant responses by conditioning on external knowledge sources. However, most existing approaches focus exclusively on English, lack explicit citation mechanisms for verifying factual claims, and offer limited transparency into model decision-making. We present XKD-Dial, a progressive four-stage training pipeline for explainable, knowledge-grounded dialogue generation in a bilingual (English-Hindi) setting, comprising: (1) multilingual adaptation, (2) English dialogue SFT with citation grounding, (3) bilingual dialogue SFT, and (4) GRPO alignment with citation-aware rewards. We evaluate six models spanning encoder-decoder (250M-3B) and decoder-only (1B-7B) architectures at every pipeline stage. Our key contributions are: (i) three post-hoc explainability analyses - cross-attention alignment, Integrated Gradients attribution, and occlusion-based causal grounding - applied systematically across the training trajectory to reveal how citation behaviour is learned, not only whether it is learned; (ii) citation-grounded SFT reduces hallucination to 0.0% for encoder-decoder models from Stage 2 onward; (iii) the progressive pipeline prevents catastrophic forgetting while improving Hindi capabilities; (iv) smaller models match larger models on English after SFT; and (v) GRPO provides marginal improvement over well-designed SFT for structured citation tasks. We evaluate across six automatic metrics (BLEU, ROUGE, BERTScore, FactScore, Citation-F1, and hallucination rate).