Rapport technique C2LLM : Une nouvelle frontière dans la récupération de code via un pooling d'attention croisée adaptatif

C2LLM Technical Report: A New Frontier in Code Retrieval via Adaptive Cross-Attention Pooling

December 24, 2025

papers.authors: Jin Qin, Zihan Liao, Ziyin Zhang, Hang Yu, Peng Di, Rui Wang

cs.AI

papers.abstract

Nous présentons C2LLM (Contrastive Code Large Language Models), une famille de modèles d'incorporation de code disponibles en tailles 0,5B et 7B. S'appuyant sur les architectures de Qwen-2.5-Coder, C2LLM adopte un module de Pooling par Attention Multi-Têtes (PMA) pour générer des incorporations de séquences à partir des incorporations de tokens, permettant ainsi 1) d'exploiter efficacement les représentations causales acquises par le LLM lors du pré-entraînement, tout en 2) agrégeant l'information de l'ensemble des tokens de la séquence, rompant le goulot d'étranglement informationnel des incorporations de séquences basées sur EOS, et 3) supportant une adaptation flexible de la dimension d'incorporation, servant d'alternative au MRL. Entraînés sur trois millions de données publiques, les modèles C2LLM établissent de nouveaux records sur MTEB-Code parmi les modèles de tailles similaires, avec C2LLM-7B se classant premier au classement général.

English

We present C2LLM - Contrastive Code Large Language Models, a family of code embedding models in both 0.5B and 7B sizes. Building upon Qwen-2.5-Coder backbones, C2LLM adopts a Pooling by Multihead Attention (PMA) module for generating sequence embedding from token embeddings, effectively 1) utilizing the LLM's causal representations acquired during pretraining, while also 2) being able to aggregate information from all tokens in the sequence, breaking the information bottleneck in EOS-based sequence embeddings, and 3) supporting flexible adaptation of embedding dimension, serving as an alternative to MRL. Trained on three million publicly available data, C2LLM models set new records on MTEB-Code among models of similar sizes, with C2LLM-7B ranking 1st on the overall leaderboard.