Обзор контекстной инженерии для крупных языковых моделей

A Survey of Context Engineering for Large Language Models

July 17, 2025

Авторы: Lingrui Mei, Jiayu Yao, Yuyao Ge, Yiwei Wang, Baolong Bi, Yujun Cai, Jiazhi Liu, Mingyu Li, Zhong-Zhi Li, Duzhen Zhang, Chenlin Zhou, Jiayi Mao, Tianze Xia, Jiafeng Guo, Shenghua Liu

cs.AI

Аннотация

Производительность крупных языковых моделей (LLMs) в значительной степени определяется контекстной информацией, предоставляемой в процессе вывода. В данном обзоре представлена Контекстная инженерия — формальная дисциплина, выходящая за рамки простого проектирования запросов и охватывающая систематическую оптимизацию информационной нагрузки для LLMs. Мы предлагаем всеобъемлющую таксономию, разбивающую Контекстную инженерию на её базовые компоненты и сложные реализации, интегрирующие их в интеллектуальные системы. Сначала мы рассматриваем базовые компоненты: извлечение и генерация контекста, обработка контекста и управление контекстом. Затем мы исследуем, как эти компоненты архитектурно интегрируются для создания сложных системных реализаций: генерация, усиленная извлечением (RAG), системы памяти и инструментально-интегрированное рассуждение, а также мультиагентные системы. На основе систематического анализа более 1300 научных статей наш обзор не только устанавливает техническую дорожную карту для данной области, но и выявляет критический пробел в исследованиях: существует фундаментальная асимметрия между возможностями моделей. Хотя современные модели, усиленные передовой контекстной инженерией, демонстрируют впечатляющее мастерство в понимании сложных контекстов, они проявляют заметные ограничения в генерации столь же сложных, длинных выходных данных. Устранение этого пробела является ключевым приоритетом для будущих исследований. В конечном итоге, данный обзор предоставляет унифицированную основу как для исследователей, так и для инженеров, продвигающих контекстно-ориентированный искусственный интеллект.

English

The performance of Large Language Models (LLMs) is fundamentally determined by the contextual information provided during inference. This survey introduces Context Engineering, a formal discipline that transcends simple prompt design to encompass the systematic optimization of information payloads for LLMs. We present a comprehensive taxonomy decomposing Context Engineering into its foundational components and the sophisticated implementations that integrate them into intelligent systems. We first examine the foundational components: context retrieval and generation, context processing and context management. We then explore how these components are architecturally integrated to create sophisticated system implementations: retrieval-augmented generation (RAG), memory systems and tool-integrated reasoning, and multi-agent systems. Through this systematic analysis of over 1300 research papers, our survey not only establishes a technical roadmap for the field but also reveals a critical research gap: a fundamental asymmetry exists between model capabilities. While current models, augmented by advanced context engineering, demonstrate remarkable proficiency in understanding complex contexts, they exhibit pronounced limitations in generating equally sophisticated, long-form outputs. Addressing this gap is a defining priority for future research. Ultimately, this survey provides a unified framework for both researchers and engineers advancing context-aware AI.