Entraînement progressif pour les dialogues explicables fondés sur les citations : Réduire à zéro les hallucinations dans les LLM anglais-hindi
Progressive Training for Explainable Citation-Grounded Dialogue: Reducing Hallucination to Zero in English-Hindi LLMs
March 19, 2026
Auteurs: Vedant Pandya
cs.AI
Résumé
Les systèmes de dialogue ancrés dans la connaissance visent à générer des réponses informatives et contextuellement pertinentes en s'appuyant sur des sources de connaissances externes. Cependant, la plupart des approches existantes se concentrent exclusivement sur l'anglais, manquent de mécanismes de citation explicites pour vérifier les affirmations factuelles et offrent une transparence limitée sur la prise de décision du modèle. Nous présentons XKD-Dial, un pipeline d'entraînement progressif en quatre étapes pour la génération de dialogues explicables et ancrés dans la connaissance dans un contexte bilingue (anglais-hindi), comprenant : (1) l'adaptation multilingue, (2) le SFT (Supervised Fine-Tuning) de dialogues en anglais avec ancrage de citations, (3) le SFT de dialogues bilingues, et (4) l'alignement par GRPO avec des récompenses sensibles aux citations. Nous évaluons six modèles, couvrant des architectures encodeur-décodeur (250M-3B) et décodeur uniquement (1B-7B), à chaque étape du pipeline. Nos contributions principales sont : (i) trois analyses d'explicabilité post-hoc - l'alignement par attention croisée, l'attribution par Gradients Intégrés et l'ancrage causal basé sur l'occlusion - appliquées systématiquement tout au long du parcours d'entraînement pour révéler comment le comportement de citation est appris, et pas seulement s'il est appris ; (ii) le SFT avec ancrage de citations réduit le taux d'hallucination à 0,0 % pour les modèles encodeur-décodeur dès l'Étape 2 ; (iii) le pipeline progressif empêche l'oubli catastrophique tout en améliorant les capacités en hindi ; (iv) les modèles plus petits égalent les performances des modèles plus grands sur l'anglais après le SFT ; et (v) le GRPO n'apporte qu'une amélioration marginale par rapport à un SFT bien conçu pour les tâches de citation structurée. Nous évaluons les performances à l'aide de six métriques automatiques (BLEU, ROUGE, BERTScore, FactScore, Citation-F1 et taux d'hallucination).
English
Knowledge-grounded dialogue systems aim to generate informative, contextually relevant responses by conditioning on external knowledge sources. However, most existing approaches focus exclusively on English, lack explicit citation mechanisms for verifying factual claims, and offer limited transparency into model decision-making. We present XKD-Dial, a progressive four-stage training pipeline for explainable, knowledge-grounded dialogue generation in a bilingual (English-Hindi) setting, comprising: (1) multilingual adaptation, (2) English dialogue SFT with citation grounding, (3) bilingual dialogue SFT, and (4) GRPO alignment with citation-aware rewards. We evaluate six models spanning encoder-decoder (250M-3B) and decoder-only (1B-7B) architectures at every pipeline stage. Our key contributions are: (i) three post-hoc explainability analyses - cross-attention alignment, Integrated Gradients attribution, and occlusion-based causal grounding - applied systematically across the training trajectory to reveal how citation behaviour is learned, not only whether it is learned; (ii) citation-grounded SFT reduces hallucination to 0.0% for encoder-decoder models from Stage 2 onward; (iii) the progressive pipeline prevents catastrophic forgetting while improving Hindi capabilities; (iv) smaller models match larger models on English after SFT; and (v) GRPO provides marginal improvement over well-designed SFT for structured citation tasks. We evaluate across six automatic metrics (BLEU, ROUGE, BERTScore, FactScore, Citation-F1, and hallucination rate).