Treinamento Progressivo para Diálogo Explicativo Baseado em Citações: Reduzindo a Alucinação a Zero em LLMs Inglês-Hindi
Progressive Training for Explainable Citation-Grounded Dialogue: Reducing Hallucination to Zero in English-Hindi LLMs
March 19, 2026
Autores: Vedant Pandya
cs.AI
Resumo
Os sistemas de diálogo fundamentados em conhecimento visam gerar respostas informativas e contextualmente relevantes, condicionando-se a fontes de conhecimento externas. No entanto, a maioria das abordagens existentes concentra-se exclusivamente no inglês, carece de mecanismos explícitos de citação para verificar afirmações factuais e oferece transparência limitada sobre a tomada de decisão do modelo. Apresentamos o XKD-Dial, um *pipeline* de treinamento progressivo de quatro estágios para geração de diálogo explicável e fundamentada em conhecimento em um contexto bilíngue (inglês-hindi), compreendendo: (1) adaptação multilíngue, (2) SFT (*Supervised Fine-Tuning*) de diálogo em inglês com fundamentação por citação, (3) SFT de diálogo bilíngue e (4) alinhamento por GRPO (*Group Relative Policy Optimization*) com recompensas conscientes da citação. Avaliamos seis modelos que abrangem arquiteturas *encoder-decoder* (250M-3B) e *decoder-only* (1B-7B) em cada estágio do *pipeline*. Nossas principais contribuições são: (i) três análises de explicabilidade *post-hoc* - alinhamento de *cross-attention*, atribuição por *Integrated Gradients* e fundamentação causal baseada em oclusão - aplicadas sistematicamente em toda a trajetória de treinamento para revelar COMO o comportamento de citação é aprendido, não apenas SE é aprendido; (ii) o SFT com fundamentação por citação reduz o *hallucination* para 0,0% em modelos *encoder-decoder* a partir do Estágio 2; (iii) o *pipeline* progressivo evita o *catastrophic forgetting* enquanto melhora as capacidades em hindi; (iv) modelos menores equiparam-se a modelos maiores em inglês após o SFT; e (v) o GRPO fornece uma melhoria marginal em relação a um SFT bem projetado para tarefas estruturadas de citação. Avaliamos com base em seis métricas automáticas (BLEU, ROUGE, BERTScore, FactScore, Citação-F1 e taxa de *hallucination*).
English
Knowledge-grounded dialogue systems aim to generate informative, contextually relevant responses by conditioning on external knowledge sources. However, most existing approaches focus exclusively on English, lack explicit citation mechanisms for verifying factual claims, and offer limited transparency into model decision-making. We present XKD-Dial, a progressive four-stage training pipeline for explainable, knowledge-grounded dialogue generation in a bilingual (English-Hindi) setting, comprising: (1) multilingual adaptation, (2) English dialogue SFT with citation grounding, (3) bilingual dialogue SFT, and (4) GRPO alignment with citation-aware rewards. We evaluate six models spanning encoder-decoder (250M-3B) and decoder-only (1B-7B) architectures at every pipeline stage. Our key contributions are: (i) three post-hoc explainability analyses - cross-attention alignment, Integrated Gradients attribution, and occlusion-based causal grounding - applied systematically across the training trajectory to reveal how citation behaviour is learned, not only whether it is learned; (ii) citation-grounded SFT reduces hallucination to 0.0% for encoder-decoder models from Stage 2 onward; (iii) the progressive pipeline prevents catastrophic forgetting while improving Hindi capabilities; (iv) smaller models match larger models on English after SFT; and (v) GRPO provides marginal improvement over well-designed SFT for structured citation tasks. We evaluate across six automatic metrics (BLEU, ROUGE, BERTScore, FactScore, Citation-F1, and hallucination rate).