Selecionar para Saber: Um Framework de Autosseleção de Conhecimento Interno-Externo para Resposta a Perguntas Específicas de Domínio

Select to Know: An Internal-External Knowledge Self-Selection Framework for Domain-Specific Question Answering

August 21, 2025

Autores: Bolei He, Xinran He, Run Shao, Shanfu Shu, Xianwei Xue, Mingquan Cheng, Haifeng Li, Zhenhua Ling

cs.AI

Resumo

Modelos de Linguagem de Grande Escala (LLMs) têm bom desempenho em tarefas gerais de Perguntas e Respostas (QA), mas frequentemente enfrentam dificuldades em cenários específicos de domínio. A Geração Aumentada por Recuperação (RAG) introduz conhecimento externo, mas sofre com alucinações e latência devido a recuperações ruidosas. O pré-treinamento contínuo internaliza o conhecimento de domínio, mas é custoso e carece de flexibilidade entre domínios. Atribuímos esse desafio à distribuição de cauda longa do conhecimento de domínio, que deixa conhecimento interno parcial, porém útil, subutilizado. Argumentamos ainda que a aquisição de conhecimento deve ser progressiva, espelhando o aprendizado humano: primeiro compreendendo conceitos, depois aplicando-os em raciocínios complexos. Para abordar isso, propomos o Selct2Know (S2K), um framework econômico que internaliza o conhecimento de domínio por meio de uma estratégia de autosseleção de conhecimento interno-externo e ajuste fino supervisionado seletivo. Também introduzimos um pipeline estruturado de geração de dados para raciocínio e integramos o GRPO para aprimorar a capacidade de raciocínio. Experimentos em benchmarks de QA médicos, jurídicos e financeiros mostram que o S2K supera consistentemente os métodos existentes e equipara-se a LLMs pré-treinados em domínios específicos com custo significativamente menor.

English

Large Language Models (LLMs) perform well in general QA but often struggle in domain-specific scenarios. Retrieval-Augmented Generation (RAG) introduces external knowledge but suffers from hallucinations and latency due to noisy retrievals. Continued pretraining internalizes domain knowledge but is costly and lacks cross-domain flexibility. We attribute this challenge to the long-tail distribution of domain knowledge, which leaves partial yet useful internal knowledge underutilized. We further argue that knowledge acquisition should be progressive, mirroring human learning: first understanding concepts, then applying them to complex reasoning. To address this, we propose Selct2Know (S2K), a cost-effective framework that internalizes domain knowledge through an internal-external knowledge self-selection strategy and selective supervised fine-tuning. We also introduce a structured reasoning data generation pipeline and integrate GRPO to enhance reasoning ability. Experiments on medical, legal, and financial QA benchmarks show that S2K consistently outperforms existing methods and matches domain-pretrained LLMs with significantly lower cost.