Incorporações Eficientes de Código a partir de Modelos de Geração de Código

Resumo

jina-code-embeddings é uma suíte inovadora de modelos de incorporação de código projetada para recuperar código a partir de consultas em linguagem natural, realizar perguntas e respostas técnicas e identificar trechos de código semanticamente semelhantes em diferentes linguagens de programação. Ele faz uso inovador de uma arquitetura autoregressiva pré-treinada em texto e código, gerando incorporações por meio de last-token pooling. Descrevemos a receita de treinamento e demonstramos desempenho de ponta, apesar do tamanho relativamente pequeno dos modelos, validando essa abordagem para a construção de modelos de incorporação de código.

English

jina-code-embeddings is a novel code embedding model suite designed to retrieve code from natural language queries, perform technical question-answering, and identify semantically similar code snippets across programming languages. It makes innovative use of an autoregressive backbone pre-trained on both text and code, generating embeddings via last-token pooling. We outline the training recipe and demonstrate state-of-the-art performance despite the relatively small size of the models, validating this approach to code embedding model construction.

Incorporações Eficientes de Código a partir de Modelos de Geração de Código

Efficient Code Embeddings from Code Generation Models

Resumo

Support