Rapporto Tecnico C2LLM: Una Nuova Frontiera nel Recupero del Codice tramite Pooling Adattivo Cross-Attention

C2LLM Technical Report: A New Frontier in Code Retrieval via Adaptive Cross-Attention Pooling

December 24, 2025

Autori: Jin Qin, Zihan Liao, Ziyin Zhang, Hang Yu, Peng Di, Rui Wang

cs.AI

Abstract

Presentiamo C2LLM - Contrastive Code Large Language Models, una famiglia di modelli di embedding per codice disponibili nelle dimensioni 0,5B e 7B. Basandosi sull'architettura Qwen-2.5-Coder, C2LLM adotta un modulo di Pooling by Multihead Attention (PMA) per generare embedding di sequenza a partire dagli embedding di token, riuscendo efficacemente a: 1) sfruttare le rappresentazioni causali acquisite dal LLM durante il pre-training, 2) aggregare informazioni da tutti i token nella sequenza, superando il collo di bottiglia informativo degli embedding di sequenza basati su EOS, e 3) supportare un adattamento flessibile della dimensione dell'embedding, rappresentando un'alternativa a MRL. Addestrati su tre milioni di dati pubblicamente disponibili, i modelli C2LLM stabiliscono nuovi record su MTEB-Code tra i modelli di dimensioni simili, con C2LLM-7B che si classifica al primo posto nella classifica generale.

English

We present C2LLM - Contrastive Code Large Language Models, a family of code embedding models in both 0.5B and 7B sizes. Building upon Qwen-2.5-Coder backbones, C2LLM adopts a Pooling by Multihead Attention (PMA) module for generating sequence embedding from token embeddings, effectively 1) utilizing the LLM's causal representations acquired during pretraining, while also 2) being able to aggregate information from all tokens in the sequence, breaking the information bottleneck in EOS-based sequence embeddings, and 3) supporting flexible adaptation of embedding dimension, serving as an alternative to MRL. Trained on three million publicly available data, C2LLM models set new records on MTEB-Code among models of similar sizes, with C2LLM-7B ranking 1st on the overall leaderboard.