Эффективные векторные представления кода на основе моделей генерации кода

Efficient Code Embeddings from Code Generation Models

August 29, 2025

Авторы: Daria Kryvosheieva, Saba Sturua, Michael Günther, Scott Martens, Han Xiao

cs.AI

Аннотация

jina-code-embeddings — это новая модель для создания векторных представлений кода, предназначенная для поиска кода по естественно-языковым запросам, ответов на технические вопросы и идентификации семантически схожих фрагментов кода на разных языках программирования. Модель инновационно использует авторегрессивную архитектуру, предварительно обученную на тексте и коде, и генерирует векторные представления с помощью метода last-token pooling. Мы описываем процесс обучения и демонстрируем передовые результаты, несмотря на относительно небольшой размер моделей, подтверждая эффективность данного подхода к созданию моделей для векторного представления кода.

English

jina-code-embeddings is a novel code embedding model suite designed to retrieve code from natural language queries, perform technical question-answering, and identify semantically similar code snippets across programming languages. It makes innovative use of an autoregressive backbone pre-trained on both text and code, generating embeddings via last-token pooling. We outline the training recipe and demonstrate state-of-the-art performance despite the relatively small size of the models, validating this approach to code embedding model construction.