대규모 언어 모델을 위한 컨텍스트 엔지니어링에 관한 연구

초록

대규모 언어 모델(LLMs)의 성능은 근본적으로 추론 과정에서 제공되는 문맥 정보에 의해 결정됩니다. 본 조사는 단순한 프롬프트 설계를 넘어 LLMs를 위한 정보 페이로드의 체계적인 최적화를 포괄하는 공식적인 학문 분야인 '문맥 공학(Context Engineering)'을 소개합니다. 우리는 문맥 공학을 그 기초 구성 요소와 이를 지능형 시스템에 통합하는 정교한 구현으로 분해한 포괄적인 분류 체계를 제시합니다. 먼저 기초 구성 요소인 문맥 검색 및 생성, 문맥 처리, 문맥 관리에 대해 살펴봅니다. 그런 다음 이러한 구성 요소가 어떻게 구조적으로 통합되어 정교한 시스템 구현을 생성하는지 탐구합니다. 이는 검색 강화 생성(Retrieval-Augmented Generation, RAG), 메모리 시스템 및 도구 통합 추론, 그리고 다중 에이전트 시스템을 포함합니다. 1300편 이상의 연구 논문에 대한 이 체계적인 분석을 통해, 본 조사는 해당 분야의 기술 로드맵을 확립할 뿐만 아니라 중요한 연구 격차를 드러냅니다. 고급 문맥 공학으로 강화된 현재의 모델들은 복잡한 문맥을 이해하는 데 있어 뛰어난 숙련도를 보이지만, 동등하게 정교하고 장문의 출력을 생성하는 데 있어서는 뚜렷한 한계를 보입니다. 이 격차를 해결하는 것은 향후 연구의 핵심 우선순위입니다. 궁극적으로, 본 조사는 문맥 인식 AI를 발전시키는 연구자 및 엔지니어 모두를 위한 통합된 프레임워크를 제공합니다.

English

The performance of Large Language Models (LLMs) is fundamentally determined by the contextual information provided during inference. This survey introduces Context Engineering, a formal discipline that transcends simple prompt design to encompass the systematic optimization of information payloads for LLMs. We present a comprehensive taxonomy decomposing Context Engineering into its foundational components and the sophisticated implementations that integrate them into intelligent systems. We first examine the foundational components: context retrieval and generation, context processing and context management. We then explore how these components are architecturally integrated to create sophisticated system implementations: retrieval-augmented generation (RAG), memory systems and tool-integrated reasoning, and multi-agent systems. Through this systematic analysis of over 1300 research papers, our survey not only establishes a technical roadmap for the field but also reveals a critical research gap: a fundamental asymmetry exists between model capabilities. While current models, augmented by advanced context engineering, demonstrate remarkable proficiency in understanding complex contexts, they exhibit pronounced limitations in generating equally sophisticated, long-form outputs. Addressing this gap is a defining priority for future research. Ultimately, this survey provides a unified framework for both researchers and engineers advancing context-aware AI.

대규모 언어 모델을 위한 컨텍스트 엔지니어링에 관한 연구

A Survey of Context Engineering for Large Language Models

초록

Support