Select to Know: Een Intern-Extern Kennis Zelfselectie Framework voor Domeinspecifieke Vraagbeantwoording

Select to Know: An Internal-External Knowledge Self-Selection Framework for Domain-Specific Question Answering

August 21, 2025

Auteurs: Bolei He, Xinran He, Run Shao, Shanfu Shu, Xianwei Xue, Mingquan Cheng, Haifeng Li, Zhenhua Ling

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) presteren goed in algemene vraag-antwoordscenario’s, maar hebben vaak moeite in domeinspecifieke situaties. Retrieval-Augmented Generation (RAG) introduceert externe kennis, maar lijdt onder hallucinaties en latentie door onnauwkeurige retrievals. Voortgezette pretraining internaliseert domeinkennis, maar is kostbaar en mist flexibiliteit over domeinen heen. Wij schrijven deze uitdaging toe aan de long-tail distributie van domeinkennis, waardoor gedeeltelijke maar nuttige interne kennis onderbenut blijft. Wij stellen verder dat kennisverwerving progressief zou moeten zijn, vergelijkbaar met menselijk leren: eerst concepten begrijpen, en deze vervolgens toepassen in complexe redeneringen. Om dit aan te pakken, stellen wij Selct2Know (S2K) voor, een kosteneffectief raamwerk dat domeinkennis internaliseert via een interne-externe kennis zelfselectiestrategie en selectieve supervised fine-tuning. We introduceren ook een gestructureerde redeneerdata-generatiepijplijn en integreren GRPO om het redeneervermogen te verbeteren. Experimenten op medische, juridische en financiële vraag-antwoordbenchmarks tonen aan dat S2K consistent beter presteert dan bestaande methoden en domein-gepretrainde LLMs evenaart tegen aanzienlijk lagere kosten.

English

Large Language Models (LLMs) perform well in general QA but often struggle in domain-specific scenarios. Retrieval-Augmented Generation (RAG) introduces external knowledge but suffers from hallucinations and latency due to noisy retrievals. Continued pretraining internalizes domain knowledge but is costly and lacks cross-domain flexibility. We attribute this challenge to the long-tail distribution of domain knowledge, which leaves partial yet useful internal knowledge underutilized. We further argue that knowledge acquisition should be progressive, mirroring human learning: first understanding concepts, then applying them to complex reasoning. To address this, we propose Selct2Know (S2K), a cost-effective framework that internalizes domain knowledge through an internal-external knowledge self-selection strategy and selective supervised fine-tuning. We also introduce a structured reasoning data generation pipeline and integrate GRPO to enhance reasoning ability. Experiments on medical, legal, and financial QA benchmarks show that S2K consistently outperforms existing methods and matches domain-pretrained LLMs with significantly lower cost.