C2LLM Technisch Rapport: Een Nieuwe Grens in Code Retrieval via Adaptieve Cross-Attention Pooling

C2LLM Technical Report: A New Frontier in Code Retrieval via Adaptive Cross-Attention Pooling

December 24, 2025

Auteurs: Jin Qin, Zihan Liao, Ziyin Zhang, Hang Yu, Peng Di, Rui Wang

cs.AI

Samenvatting

Wij presenteren C2LLM - Contrastive Code Large Language Models, een familie van code-embeddingmodellen in zowel 0.5B als 7B formaten. Gebaseerd op Qwen-2.5-Coder backbones, neemt C2LLM een Pooling by Multihead Attention (PMA)-module over voor het genereren van sequentie-embeddings vanuit token-embeddings. Dit maakt effectief 1) gebruik van de causale representaties verworven tijdens de pretraining van het LLM, terwijl het tevens 2) in staat is informatie van alle tokens in de sequentie te aggregeren, waardoor de informatieflessenhals in EOS-gebaseerde sequentie-embeddings wordt doorbroken, en 3) flexibele aanpassing van de embeddingdimensie ondersteunt, als alternatief voor MRL. Getraind op drie miljoen openbaar beschikbare gegevens, vestigen de C2LLM-modellen nieuwe records op MTEB-Code onder modellen van vergelijkbare grootte, waarbij C2LLM-7B de eerste positie inneemt op de algemene ranglijst.

English

We present C2LLM - Contrastive Code Large Language Models, a family of code embedding models in both 0.5B and 7B sizes. Building upon Qwen-2.5-Coder backbones, C2LLM adopts a Pooling by Multihead Attention (PMA) module for generating sequence embedding from token embeddings, effectively 1) utilizing the LLM's causal representations acquired during pretraining, while also 2) being able to aggregate information from all tokens in the sequence, breaking the information bottleneck in EOS-based sequence embeddings, and 3) supporting flexible adaptation of embedding dimension, serving as an alternative to MRL. Trained on three million publicly available data, C2LLM models set new records on MTEB-Code among models of similar sizes, with C2LLM-7B ranking 1st on the overall leaderboard.