Seleziona per Conoscere: Un Framework di Auto-Selezione della Conoscenza Interna-Esterna per il Question Answering Specifico al Dominio

Select to Know: An Internal-External Knowledge Self-Selection Framework for Domain-Specific Question Answering

August 21, 2025

Autori: Bolei He, Xinran He, Run Shao, Shanfu Shu, Xianwei Xue, Mingquan Cheng, Haifeng Li, Zhenhua Ling

cs.AI

Abstract

I Large Language Model (LLM) ottengono buoni risultati nel question answering generale, ma spesso incontrano difficoltà in scenari specifici di dominio. Il Retrieval-Augmented Generation (RAG) introduce conoscenza esterna, ma soffre di allucinazioni e latenze a causa di recuperi rumorosi. Il pretraining continuo internalizza la conoscenza di dominio, ma è costoso e manca di flessibilità cross-dominio. Attribuiamo questa sfida alla distribuzione a coda lunga della conoscenza di dominio, che lascia parzialmente inutilizzata una conoscenza interna comunque utile. Sosteniamo inoltre che l'acquisizione di conoscenza dovrebbe essere progressiva, riflettendo l'apprendimento umano: prima comprendere i concetti, poi applicarli a ragionamenti complessi. Per affrontare questo problema, proponiamo Selct2Know (S2K), un framework economicamente vantaggioso che internalizza la conoscenza di dominio attraverso una strategia di autoselezione della conoscenza interna-esterna e un fine-tuning supervisionato selettivo. Introduciamo anche una pipeline di generazione di dati strutturati per il ragionamento e integriamo GRPO per potenziare la capacità di ragionamento. Esperimenti su benchmark di question answering medico, legale e finanziario dimostrano che S2K supera costantemente i metodi esistenti e raggiunge le prestazioni di LLM addestrati su dominio specifico con un costo significativamente inferiore.

English

Large Language Models (LLMs) perform well in general QA but often struggle in domain-specific scenarios. Retrieval-Augmented Generation (RAG) introduces external knowledge but suffers from hallucinations and latency due to noisy retrievals. Continued pretraining internalizes domain knowledge but is costly and lacks cross-domain flexibility. We attribute this challenge to the long-tail distribution of domain knowledge, which leaves partial yet useful internal knowledge underutilized. We further argue that knowledge acquisition should be progressive, mirroring human learning: first understanding concepts, then applying them to complex reasoning. To address this, we propose Selct2Know (S2K), a cost-effective framework that internalizes domain knowledge through an internal-external knowledge self-selection strategy and selective supervised fine-tuning. We also introduce a structured reasoning data generation pipeline and integrate GRPO to enhance reasoning ability. Experiments on medical, legal, and financial QA benchmarks show that S2K consistently outperforms existing methods and matches domain-pretrained LLMs with significantly lower cost.