DeepCodeSeek: Recuperação de APIs em Tempo Real para Geração de Código com Contexto

DeepCodeSeek: Real-Time API Retrieval for Context-Aware Code Generation

September 30, 2025

Autores: Esakkivel Esakkiraja, Denis Akhiyarov, Aditya Shanmugham, Chitra Ganapathy

cs.AI

Resumo

As técnicas atuais de busca estão limitadas a aplicações padrão de RAG (Recuperação Aumentada por Geração) entre consultas e documentos. Neste artigo, propomos uma nova técnica para expandir o código e o índice para prever as APIs necessárias, permitindo diretamente a geração de código de alta qualidade de ponta a ponta para aplicações de autocompletar e IA agentiva. Abordamos o problema de vazamentos de API em conjuntos de dados de referência código-para-código atuais, introduzindo um novo conjunto de dados construído a partir de Script Includes do ServiceNow do mundo real, que capturam o desafio da intenção de uso de API não clara no código. Nossas métricas de avaliação mostram que esse método alcança 87,86% de precisão de recuperação no top-40, fornecendo o contexto crítico com as APIs necessárias para a geração de código subsequente bem-sucedida. Para permitir previsões em tempo real, desenvolvemos um pipeline abrangente de pós-treinamento que otimiza um reranker compacto de 0,6B por meio de geração de conjunto de dados sintéticos, ajuste fino supervisionado e aprendizado por reforço. Essa abordagem permite que nosso reranker compacto supere um modelo muito maior de 8B, mantendo uma latência 2,5 vezes menor, abordando efetivamente as nuances de código específico de empresas sem a sobrecarga computacional de modelos maiores.

English

Current search techniques are limited to standard RAG query-document applications. In this paper, we propose a novel technique to expand the code and index for predicting the required APIs, directly enabling high-quality, end-to-end code generation for auto-completion and agentic AI applications. We address the problem of API leaks in current code-to-code benchmark datasets by introducing a new dataset built from real-world ServiceNow Script Includes that capture the challenge of unclear API usage intent in the code. Our evaluation metrics show that this method achieves 87.86% top-40 retrieval accuracy, allowing the critical context with APIs needed for successful downstream code generation. To enable real-time predictions, we develop a comprehensive post-training pipeline that optimizes a compact 0.6B reranker through synthetic dataset generation, supervised fine-tuning, and reinforcement learning. This approach enables our compact reranker to outperform a much larger 8B model while maintaining 2.5x reduced latency, effectively addressing the nuances of enterprise-specific code without the computational overhead of larger models.