Sélectionner pour Savoir : Un Cadre d'Auto-Sélection des Connaissances Internes-Externes pour le Question-Réponse Spécifique à un Domaine

Select to Know: An Internal-External Knowledge Self-Selection Framework for Domain-Specific Question Answering

August 21, 2025

papers.authors: Bolei He, Xinran He, Run Shao, Shanfu Shu, Xianwei Xue, Mingquan Cheng, Haifeng Li, Zhenhua Ling

cs.AI

papers.abstract

Les grands modèles de langage (LLMs) excellent dans les tâches générales de question-réponse (QA) mais peinent souvent dans des scénarios spécifiques à un domaine. La génération augmentée par récupération (RAG) introduit des connaissances externes mais souffre d'hallucinations et de latence dues à des récupérations bruyantes. Le pré-entraînement continu internalise les connaissances du domaine mais est coûteux et manque de flexibilité inter-domaines. Nous attribuons ce défi à la distribution en longue traîne des connaissances spécifiques à un domaine, qui laisse des connaissances internes partielles mais utiles sous-utilisées. Nous soutenons en outre que l'acquisition des connaissances devrait être progressive, à l'image de l'apprentissage humain : d'abord comprendre les concepts, puis les appliquer à un raisonnement complexe. Pour répondre à cela, nous proposons Selct2Know (S2K), un cadre économique qui internalise les connaissances du domaine grâce à une stratégie d'auto-sélection des connaissances internes-externes et à un fine-tuning supervisé sélectif. Nous introduisons également un pipeline de génération de données de raisonnement structuré et intégrons GRPO pour améliorer la capacité de raisonnement. Les expériences sur des benchmarks de QA médical, juridique et financier montrent que S2K surpasse systématiquement les méthodes existantes et rivalise avec les LLMs pré-entraînés sur un domaine à un coût significativement moindre.

English

Large Language Models (LLMs) perform well in general QA but often struggle in domain-specific scenarios. Retrieval-Augmented Generation (RAG) introduces external knowledge but suffers from hallucinations and latency due to noisy retrievals. Continued pretraining internalizes domain knowledge but is costly and lacks cross-domain flexibility. We attribute this challenge to the long-tail distribution of domain knowledge, which leaves partial yet useful internal knowledge underutilized. We further argue that knowledge acquisition should be progressive, mirroring human learning: first understanding concepts, then applying them to complex reasoning. To address this, we propose Selct2Know (S2K), a cost-effective framework that internalizes domain knowledge through an internal-external knowledge self-selection strategy and selective supervised fine-tuning. We also introduce a structured reasoning data generation pipeline and integrate GRPO to enhance reasoning ability. Experiments on medical, legal, and financial QA benchmarks show that S2K consistently outperforms existing methods and matches domain-pretrained LLMs with significantly lower cost.