Comment les concepts de programmation et les neurones sont partagés dans les modèles de langage de code

How Programming Concepts and Neurons Are Shared in Code Language Models

June 1, 2025

Auteurs: Amir Hossein Kargaran, Yihong Liu, François Yvon, Hinrich Schütze

cs.AI

Résumé

Plusieurs études ont exploré les mécanismes des grands modèles de langage (LLMs) dans les tâches de codage, mais la plupart se sont concentrées sur les langages de programmation (PLs) dans un contexte monolingue. Dans cet article, nous étudions la relation entre plusieurs PLs et l'anglais dans l'espace conceptuel des LLMs. Nous effectuons une tâche de traduction en few-shot sur 21 paires de PLs en utilisant deux modèles basés sur Llama. En décodant les embeddings des couches intermédiaires pendant cette tâche, nous observons que l'espace conceptuel est plus proche de l'anglais (y compris les mots-clés des PLs) et attribue des probabilités élevées aux tokens anglais dans la seconde moitié des couches intermédiaires. Nous analysons les activations neuronales pour 11 PLs et l'anglais, constatant que bien que les neurones spécifiques à une langue soient principalement concentrés dans les couches inférieures, ceux exclusifs à chaque PL ont tendance à apparaître dans les couches supérieures. Pour les PLs fortement alignés avec plusieurs autres PLs, l'identification des neurones spécifiques à une langue n'est pas réalisable. Ces PLs ont également tendance à avoir un ensemble de mots-clés plus large que les autres PLs et sont plus proches de l'espace conceptuel du modèle, indépendamment du PL d'entrée/sortie dans la tâche de traduction. Nos résultats fournissent des insights sur la manière dont les LLMs représentent internement les PLs, révélant des motifs structurels dans l'espace conceptuel du modèle. Le code est disponible à l'adresse https://github.com/cisnlp/code-specific-neurons.

English

Several studies have explored the mechanisms of large language models (LLMs) in coding tasks, but most have focused on programming languages (PLs) in a monolingual setting. In this paper, we investigate the relationship between multiple PLs and English in the concept space of LLMs. We perform a few-shot translation task on 21 PL pairs using two Llama-based models. By decoding the embeddings of intermediate layers during this task, we observe that the concept space is closer to English (including PL keywords) and assigns high probabilities to English tokens in the second half of the intermediate layers. We analyze neuron activations for 11 PLs and English, finding that while language-specific neurons are primarily concentrated in the bottom layers, those exclusive to each PL tend to appear in the top layers. For PLs that are highly aligned with multiple other PLs, identifying language-specific neurons is not feasible. These PLs also tend to have a larger keyword set than other PLs and are closer to the model's concept space regardless of the input/output PL in the translation task. Our findings provide insights into how LLMs internally represent PLs, revealing structural patterns in the model's concept space. Code is available at https://github.com/cisnlp/code-specific-neurons.