코드 기초 모델부터 에이전트와 응용까지: 코드 인텔리전스 실용 가이드

From Code Foundation Models to Agents and Applications: A Practical Guide to Code Intelligence

November 23, 2025

저자: Jian Yang, Xianglong Liu, Weifeng Lv, Ken Deng, Shawn Guo, Lin Jing, Yizhi Li, Shark Liu, Xianzhen Luo, Yuyu Luo, Changzai Pan, Ensheng Shi, Yingshui Tan, Renshuai Tao, Jiajun Wu, Xianjie Wu, Zhenhe Wu, Daoguang Zan, Chenchen Zhang, Wei Zhang, He Zhu, Terry Yue Zhuo, Kerui Cao, Xianfu Cheng, Jun Dong, Shengjie Fang, Zhiwei Fei, Xiangyuan Guan, Qipeng Guo, Zhiguang Han, Joseph James, Tianqi Luo, Renyuan Li, Yuhang Li, Yiming Liang, Congnan Liu, Jiaheng Liu, Qian Liu, Ruitong Liu, Tyler Loakman, Xiangxin Meng, Chuang Peng, Tianhao Peng, Jiajun Shi, Mingjie Tang, Boyang Wang, Haowen Wang, Yunli Wang, Fanglin Xu, Zihan Xu, Fei Yuan, Ge Zhang, Jiayi Zhang, Xinhao Zhang, Wangchunshu Zhou, Hualei Zhu, King Zhu, Brown Dai, Aishan Liu, Zhoujun Li, Chenghua Lin, Tianyu Liu, Chao Peng, Kai Shen, Libo Qin, Shuangyong Song, Zizheng Zhan, Jiajun Zhang, Jie Zhang, Zhaoxiang Zhang, Bo Zheng

cs.AI

초록

대규모 언어 모델(LLM)은 자연어 설명을 기능적 코드로 직접 변환함으로써 자동화된 소프트웨어 개발을 근본적으로 변혁했으며, Github Copilot(Microsoft), Cursor(Anysphere), Trae(ByteDance), Claude Code(Anthropic)와 같은 도구들을 통해 상용화를 주도하고 있습니다. 이 분야는 규칙 기반 시스템에서 Transformer 기반 아키텍처로 극적으로 발전하여 HumanEval과 같은 벤치마크에서 단일 자릿수 성공률에서 95% 이상의 성공률로 성능 향상을 이루었습니다. 본 연구에서는 코드 LLM에 대한 포괄적인 종합 및 실용 가이드(일련의 분석 및 탐색 실험)를 제공하며, 데이터 큐레이션부터 사후 훈련에 이르는 완전한 모델 생명주기를 고급 프롬프팅 패러다임, 코드 사전 훈련, 지도 미세 조정, 강화 학습 및 자율 코딩 에이전트를 통해 체계적으로 검토합니다. 우리는 일반 LLM(GPT-4, Claude, LLaMA)과 코드 특화 LLM(StarCoder, Code LLaMA, DeepSeek-Coder, QwenCoder)의 코드 능력을 분석하고, 기술, 설계 결정 및 트레이드오프를 비판적으로 검토합니다. 나아가, 학계 연구(예: 벤치마크 및 과제)와 실제 배포(예: 소프트웨어 관련 코드 작업) 간의 연구-실무 간극(코드 정확성, 보안, 대규모 코드베이스에 대한 맥락 인식, 개발 워크플로우와의 통합 포함)을 명확히 하고, 유망한 연구 방향을 실용적 요구에 매핑합니다. 마지막으로, 코드 사전 훈련, 지도 미세 조정, 강화 학습에 대한 포괄적 분석을 제공하기 위해 일련의 실험을 수행하며, 스케일링 법칙, 프레임워크 선택, 하이퍼파라미터 민감도, 모델 아키텍처 및 데이터셋 비교를 다룹니다.

English

Large language models (LLMs) have fundamentally transformed automated software development by enabling direct translation of natural language descriptions into functional code, driving commercial adoption through tools like Github Copilot (Microsoft), Cursor (Anysphere), Trae (ByteDance), and Claude Code (Anthropic). While the field has evolved dramatically from rule-based systems to Transformer-based architectures, achieving performance improvements from single-digit to over 95\% success rates on benchmarks like HumanEval. In this work, we provide a comprehensive synthesis and practical guide (a series of analytic and probing experiments) about code LLMs, systematically examining the complete model life cycle from data curation to post-training through advanced prompting paradigms, code pre-training, supervised fine-tuning, reinforcement learning, and autonomous coding agents. We analyze the code capability of the general LLMs (GPT-4, Claude, LLaMA) and code-specialized LLMs (StarCoder, Code LLaMA, DeepSeek-Coder, and QwenCoder), critically examining the techniques, design decisions, and trade-offs. Further, we articulate the research-practice gap between academic research (e.g., benchmarks and tasks) and real-world deployment (e.g., software-related code tasks), including code correctness, security, contextual awareness of large codebases, and integration with development workflows, and map promising research directions to practical needs. Last, we conduct a series of experiments to provide a comprehensive analysis of code pre-training, supervised fine-tuning, and reinforcement learning, covering scaling law, framework selection, hyperparameter sensitivity, model architectures, and dataset comparisons.