네이티브 검색 강화 추론을 통한 컨텍스트 충실도 향상

초록

대규모 언어 모델(LLMs)은 종종 문맥 충실도에 어려움을 겪으며, 제공된 정보를 기반으로 질문에 답변할 때 일관성 없는 답변을 생성합니다. 기존 접근 방식은 답변 후 증거를 생성하기 위해 비용이 많이 드는 지도 미세 조정에 의존하거나, 주어진 문맥의 활용도를 반드시 개선하지 않은 채 웹 검색을 수행하도록 모델을 훈련시킵니다. 우리는 CARE라는 새로운 네이티브 검색 강화 추론 프레임워크를 제안합니다. 이 프레임워크는 LLM이 모델 자체의 검색 능력을 활용하여 명시적으로 문맥 내 증거를 추론 과정에 통합하도록 가르칩니다. 우리의 방법은 제한된 레이블된 증거 데이터만 필요로 하면서도, 추론 체인 내에서 전략적으로 검색된 문맥 토큰을 통해 검색 정확도와 답변 생성 성능을 크게 향상시킵니다. 여러 실제 세계 및 반사실적 QA 벤치마크에서의 광범위한 실험을 통해, 우리의 접근 방식이 지도 미세 조정, 전통적인 검색 강화 생성 방법, 외부 검색 솔루션을 크게 능가함을 입증했습니다. 이 연구는 지식 집약적 작업을 위해 LLM을 더 정확하고, 신뢰할 수 있으며, 효율적으로 만드는 데 있어 근본적인 진전을 나타냅니다.

English

Large language models (LLMs) often struggle with context fidelity, producing inconsistent answers when responding to questions based on provided information. Existing approaches either rely on expensive supervised fine-tuning to generate evidence post-answer or train models to perform web searches without necessarily improving utilization of the given context. We propose CARE, a novel native retrieval-augmented reasoning framework that teaches LLMs to explicitly integrate in-context evidence within their reasoning process with the model's own retrieval capabilities. Our method requires limited labeled evidence data while significantly enhancing both retrieval accuracy and answer generation performance through strategically retrieved in-context tokens in the reasoning chain. Extensive experiments on multiple real-world and counterfactual QA benchmarks demonstrate that our approach substantially outperforms supervised fine-tuning, traditional retrieval-augmented generation methods, and external retrieval solutions. This work represents a fundamental advancement in making LLMs more accurate, reliable, and efficient for knowledge-intensive tasks.

네이티브 검색 강화 추론을 통한 컨텍스트 충실도 향상

Improving Context Fidelity via Native Retrieval-Augmented Reasoning

초록

Support