Seleccionar para Saber: Un Marco de Autoselección de Conocimiento Interno-Externo para Respuestas a Preguntas Específicas de Dominio

Select to Know: An Internal-External Knowledge Self-Selection Framework for Domain-Specific Question Answering

August 21, 2025

Autores: Bolei He, Xinran He, Run Shao, Shanfu Shu, Xianwei Xue, Mingquan Cheng, Haifeng Li, Zhenhua Ling

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs) tienen un buen desempeño en preguntas y respuestas generales, pero a menudo enfrentan dificultades en escenarios específicos de dominio. La Generación Aumentada por Recuperación (RAG) introduce conocimiento externo, pero sufre de alucinaciones y latencia debido a recuperaciones ruidosas. El preentrenamiento continuo internaliza el conocimiento del dominio, pero es costoso y carece de flexibilidad entre dominios. Atribuimos este desafío a la distribución de cola larga del conocimiento del dominio, que deja subutilizado el conocimiento interno parcial pero útil. Además, argumentamos que la adquisición de conocimiento debería ser progresiva, imitando el aprendizaje humano: primero comprender conceptos y luego aplicarlos en razonamientos complejos. Para abordar esto, proponemos Selct2Know (S2K), un marco rentable que internaliza el conocimiento del dominio mediante una estrategia de autoselección de conocimiento interno-externo y un ajuste fino supervisado selectivo. También introducimos una canalización de generación de datos de razonamiento estructurado e integramos GRPO para mejorar la capacidad de razonamiento. Los experimentos en benchmarks de preguntas y respuestas médicas, legales y financieras muestran que S2K supera consistentemente a los métodos existentes y se equipara con LLMs preentrenados en dominios específicos, pero con un costo significativamente menor.

English

Large Language Models (LLMs) perform well in general QA but often struggle in domain-specific scenarios. Retrieval-Augmented Generation (RAG) introduces external knowledge but suffers from hallucinations and latency due to noisy retrievals. Continued pretraining internalizes domain knowledge but is costly and lacks cross-domain flexibility. We attribute this challenge to the long-tail distribution of domain knowledge, which leaves partial yet useful internal knowledge underutilized. We further argue that knowledge acquisition should be progressive, mirroring human learning: first understanding concepts, then applying them to complex reasoning. To address this, we propose Selct2Know (S2K), a cost-effective framework that internalizes domain knowledge through an internal-external knowledge self-selection strategy and selective supervised fine-tuning. We also introduce a structured reasoning data generation pipeline and integrate GRPO to enhance reasoning ability. Experiments on medical, legal, and financial QA benchmarks show that S2K consistently outperforms existing methods and matches domain-pretrained LLMs with significantly lower cost.