Select to Know: Ein intern-externes Wissens-Selbstselektions-Framework für domänenspezifische Frage-Antwort-Systeme

Select to Know: An Internal-External Knowledge Self-Selection Framework for Domain-Specific Question Answering

August 21, 2025

papers.authors: Bolei He, Xinran He, Run Shao, Shanfu Shu, Xianwei Xue, Mingquan Cheng, Haifeng Li, Zhenhua Ling

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) zeigen in allgemeinen Frage-Antwort-Szenarien gute Leistungen, haben jedoch oft Schwierigkeiten in domänenspezifischen Anwendungen. Retrieval-Augmented Generation (RAG) führt externes Wissen ein, leidet jedoch unter Halluzinationen und Latenzzeiten aufgrund von verrauschten Retrievals. Fortgesetztes Pretraining internalisiert Domänenwissen, ist jedoch kostspielig und bietet keine Flexibilität über Domänen hinweg. Wir führen diese Herausforderung auf die langschwänzige Verteilung von Domänenwissen zurück, die partielles, aber nützliches internes Wissen untergenutzt lässt. Wir argumentieren weiter, dass der Wissenserwerb progressiv sein sollte, ähnlich dem menschlichen Lernen: zuerst das Verständnis von Konzepten, dann deren Anwendung auf komplexe Schlussfolgerungen. Um dies zu adressieren, schlagen wir Selct2Know (S2K) vor, ein kosteneffizientes Framework, das Domänenwissen durch eine interne-externe Wissensselbstselektionsstrategie und selektives supervidiertes Fine-Tuning internalisiert. Wir führen außerdem eine strukturierte Pipeline zur Generierung von Schlussfolgerungsdaten ein und integrieren GRPO, um die Fähigkeit zur Schlussfolgerung zu verbessern. Experimente auf medizinischen, rechtlichen und finanziellen Frage-Antwort-Benchmarks zeigen, dass S2K bestehende Methoden konsequent übertrifft und mit deutlich geringeren Kosten domain-pretrainierte LLMs erreicht.

English

Large Language Models (LLMs) perform well in general QA but often struggle in domain-specific scenarios. Retrieval-Augmented Generation (RAG) introduces external knowledge but suffers from hallucinations and latency due to noisy retrievals. Continued pretraining internalizes domain knowledge but is costly and lacks cross-domain flexibility. We attribute this challenge to the long-tail distribution of domain knowledge, which leaves partial yet useful internal knowledge underutilized. We further argue that knowledge acquisition should be progressive, mirroring human learning: first understanding concepts, then applying them to complex reasoning. To address this, we propose Selct2Know (S2K), a cost-effective framework that internalizes domain knowledge through an internal-external knowledge self-selection strategy and selective supervised fine-tuning. We also introduce a structured reasoning data generation pipeline and integrate GRPO to enhance reasoning ability. Experiments on medical, legal, and financial QA benchmarks show that S2K consistently outperforms existing methods and matches domain-pretrained LLMs with significantly lower cost.