Entrenamiento Progresivo para Diálogo Fundamentado en Citas Explicable: Reduciendo la Alucinación a Cero en LLMs Inglés-Hindi
Progressive Training for Explainable Citation-Grounded Dialogue: Reducing Hallucination to Zero in English-Hindi LLMs
March 19, 2026
Autores: Vedant Pandya
cs.AI
Resumen
Los sistemas de diálogo basados en conocimiento tienen como objetivo generar respuestas informativas y contextualmente relevantes condicionándolas a fuentes de conocimiento externas. Sin embargo, la mayoría de los enfoques existentes se centran exclusivamente en el inglés, carecen de mecanismos explícitos de citación para verificar afirmaciones factuales y ofrecen una transparencia limitada en la toma de decisiones del modelo. Presentamos XKD-Dial, una canalización de entrenamiento progresiva de cuatro etapas para la generación de diálogo explicable y basado en conocimiento en un entorno bilingüe (inglés-hindi), que comprende: (1) adaptación multilingüe, (2) SFT de diálogo en inglés con fundamentación de citas, (3) SFT de diálogo bilingüe, y (4) alineación GRPO con recompensas conscientes de las citas. Evaluamos seis modelos que abarcan arquitecturas codificador-decodificador (250M-3B) y solo-decodificador (1B-7B) en cada etapa de la canalización. Nuestras contribuciones clave son: (i) tres análisis de explicabilidad *post-hoc* -alineación de atención cruzada, atribución de Gradientes Integrados y fundamentación causal basada en oclusión- aplicados sistemáticamente a lo largo de la trayectoria de entrenamiento para revelar *cómo* se aprende el comportamiento de citación, no solo *si* se aprende; (ii) el SFT con citas reduce la alucinación al 0.0% para los modelos codificador-decodificador desde la Etapa 2 en adelante; (iii) la canalización progresiva previene el olvido catastrófico mientras mejora las capacidades en hindi; (iv) los modelos más pequeños igualan el rendimiento de los modelos más grandes en inglés después del SFT; y (v) GRPO proporciona una mejora marginal sobre un SFT bien diseñado para tareas de citación estructurada. Evaluamos utilizando seis métricas automáticas (BLEU, ROUGE, BERTScore, FactScore, Citation-F1 y tasa de alucinación).
English
Knowledge-grounded dialogue systems aim to generate informative, contextually relevant responses by conditioning on external knowledge sources. However, most existing approaches focus exclusively on English, lack explicit citation mechanisms for verifying factual claims, and offer limited transparency into model decision-making. We present XKD-Dial, a progressive four-stage training pipeline for explainable, knowledge-grounded dialogue generation in a bilingual (English-Hindi) setting, comprising: (1) multilingual adaptation, (2) English dialogue SFT with citation grounding, (3) bilingual dialogue SFT, and (4) GRPO alignment with citation-aware rewards. We evaluate six models spanning encoder-decoder (250M-3B) and decoder-only (1B-7B) architectures at every pipeline stage. Our key contributions are: (i) three post-hoc explainability analyses - cross-attention alignment, Integrated Gradients attribution, and occlusion-based causal grounding - applied systematically across the training trajectory to reveal how citation behaviour is learned, not only whether it is learned; (ii) citation-grounded SFT reduces hallucination to 0.0% for encoder-decoder models from Stage 2 onward; (iii) the progressive pipeline prevents catastrophic forgetting while improving Hindi capabilities; (iv) smaller models match larger models on English after SFT; and (v) GRPO provides marginal improvement over well-designed SFT for structured citation tasks. We evaluate across six automatic metrics (BLEU, ROUGE, BERTScore, FactScore, Citation-F1, and hallucination rate).