DeepCodeSeek: 컨텍스트 인식 코드 생성을 위한 실시간 API 검색

초록

현재의 검색 기술은 표준 RAG 질의-문서 응용에 국한되어 있다. 본 논문에서는 필요한 API를 예측하기 위해 코드와 인덱스를 확장하는 새로운 기술을 제안하며, 이를 통해 자동 완성 및 에이전트 AI 응용을 위한 고품질의 종단 간 코드 생성을 직접 가능하게 한다. 우리는 실제 ServiceNow Script Includes에서 구축된 새로운 데이터셋을 도입하여 현재의 코드-대-코드 벤치마크 데이터셋에서 발생하는 API 누출 문제를 해결하고, 코드 내에서 불분명한 API 사용 의도를 포착하는 데 초점을 맞춘다. 평가 지표에 따르면, 이 방법은 87.86%의 상위 40개 검색 정확도를 달성하여, 성공적인 다운스트림 코드 생성에 필요한 API와 함께 중요한 컨텍스트를 제공한다. 실시간 예측을 가능하게 하기 위해, 우리는 합성 데이터셋 생성, 지도 미세 조정, 강화 학습을 통해 컴팩트한 0.6B 리랭커를 최적화하는 포괄적인 사후 학습 파이프라인을 개발한다. 이 접근법은 더 큰 8B 모델을 능가하면서도 2.5배 감소된 지연 시간을 유지하도록 하여, 더 큰 모델의 계산 오버헤드 없이도 기업 특화 코드의 미묘한 차이를 효과적으로 해결한다.

English

Current search techniques are limited to standard RAG query-document applications. In this paper, we propose a novel technique to expand the code and index for predicting the required APIs, directly enabling high-quality, end-to-end code generation for auto-completion and agentic AI applications. We address the problem of API leaks in current code-to-code benchmark datasets by introducing a new dataset built from real-world ServiceNow Script Includes that capture the challenge of unclear API usage intent in the code. Our evaluation metrics show that this method achieves 87.86% top-40 retrieval accuracy, allowing the critical context with APIs needed for successful downstream code generation. To enable real-time predictions, we develop a comprehensive post-training pipeline that optimizes a compact 0.6B reranker through synthetic dataset generation, supervised fine-tuning, and reinforcement learning. This approach enables our compact reranker to outperform a much larger 8B model while maintaining 2.5x reduced latency, effectively addressing the nuances of enterprise-specific code without the computational overhead of larger models.

DeepCodeSeek: 컨텍스트 인식 코드 생성을 위한 실시간 API 검색

DeepCodeSeek: Real-Time API Retrieval for Context-Aware Code Generation

초록

Support