コード生成モデルからの効率的なコード埋め込み

要旨

jina-code-embeddingsは、自然言語クエリからコードを検索し、技術的な質問応答を行い、プログラミング言語を超えて意味的に類似したコードスニペットを特定するために設計された新しいコード埋め込みモデルスイートです。このモデルは、テキストとコードの両方で事前学習された自己回帰型バックボーンを革新的に活用し、最後のトークンプーリングを通じて埋め込みを生成します。本論文では、そのトレーニング手法を概説し、比較的小さなモデルサイズにもかかわらず最先端の性能を実証することで、このコード埋め込みモデル構築アプローチの有効性を検証します。

English

jina-code-embeddings is a novel code embedding model suite designed to retrieve code from natural language queries, perform technical question-answering, and identify semantically similar code snippets across programming languages. It makes innovative use of an autoregressive backbone pre-trained on both text and code, generating embeddings via last-token pooling. We outline the training recipe and demonstrate state-of-the-art performance despite the relatively small size of the models, validating this approach to code embedding model construction.

コード生成モデルからの効率的なコード埋め込み

Efficient Code Embeddings from Code Generation Models

要旨

Support