Технический отчет C2LLM: Новый рубеж в извлечении кода с помощью адаптивного пулинга на основе кросс-внимания

C2LLM Technical Report: A New Frontier in Code Retrieval via Adaptive Cross-Attention Pooling

December 24, 2025

Авторы: Jin Qin, Zihan Liao, Ziyin Zhang, Hang Yu, Peng Di, Rui Wang

cs.AI

Аннотация

Мы представляем C2LLM (Contrastive Code Large Language Models) — семейство моделей для получения векторных представлений кода размером 0,5B и 7B параметров. Основанные на архитектуре Qwen-2.5-Coder, модели C2LLM используют модуль Pooling by Multihead Attention (PMA) для генерации эмбеддингов последовательности из токенных эмбеддингов, что позволяет: 1) эффективно использовать каузальные представления, полученные большой языковой моделью на этапе претренинга; 2) агрегировать информацию со всех токенов последовательности, преодолевая информационное ограничение эмбеддингов на основе EOS-токена; 3) гибко адаптировать размерность эмбеддинга, выступая альтернативой методу MRL. Обученные на трёх миллионах общедоступных данных, модели C2LLM устанавливают новые рекорды на бенчмарке MTEB-Code среди моделей сопоставимого размера, причём модель C2LLM-7B занимает первое место в общем рейтинге.

English

We present C2LLM - Contrastive Code Large Language Models, a family of code embedding models in both 0.5B and 7B sizes. Building upon Qwen-2.5-Coder backbones, C2LLM adopts a Pooling by Multihead Attention (PMA) module for generating sequence embedding from token embeddings, effectively 1) utilizing the LLM's causal representations acquired during pretraining, while also 2) being able to aggregate information from all tokens in the sequence, breaking the information bottleneck in EOS-based sequence embeddings, and 3) supporting flexible adaptation of embedding dimension, serving as an alternative to MRL. Trained on three million publicly available data, C2LLM models set new records on MTEB-Code among models of similar sizes, with C2LLM-7B ranking 1st on the overall leaderboard.