Wie Programmierkonzepte und Neuronen in Code-Sprachmodellen geteilt werden

How Programming Concepts and Neurons Are Shared in Code Language Models

June 1, 2025

Autoren: Amir Hossein Kargaran, Yihong Liu, François Yvon, Hinrich Schütze

cs.AI

Zusammenfassung

Mehrere Studien haben die Mechanismen großer Sprachmodelle (LLMs) bei Codierungsaufgaben untersucht, doch die meisten konzentrierten sich auf Programmiersprachen (PLs) in einem monolingualen Kontext. In diesem Artikel untersuchen wir die Beziehung zwischen mehreren PLs und Englisch im Konzeptraum von LLMs. Wir führen eine Few-Shot-Übersetzungsaufgabe für 21 PL-Paare mit zwei Llama-basierten Modellen durch. Durch das Dekodieren der Embeddings der Zwischenschichten während dieser Aufgabe beobachten wir, dass der Konzeptraum näher an Englisch (einschließlich PL-Schlüsselwörtern) liegt und in der zweiten Hälfte der Zwischenschichten hohe Wahrscheinlichkeiten für englische Tokens zuweist. Wir analysieren die Neuronaktivierungen für 11 PLs und Englisch und stellen fest, dass sprachspezifische Neuronen hauptsächlich in den unteren Schichten konzentriert sind, während solche, die exklusiv für jede PL sind, tendenziell in den oberen Schichten auftreten. Für PLs, die stark mit mehreren anderen PLs ausgerichtet sind, ist die Identifizierung sprachspezifischer Neuronen nicht möglich. Diese PLs haben tendenziell auch einen größeren Schlüsselwortschatz als andere PLs und sind unabhängig von der Eingabe-/Ausgabe-PL in der Übersetzungsaufgabe näher am Konzeptraum des Modells. Unsere Erkenntnisse bieten Einblicke, wie LLMs PLs intern repräsentieren, und enthüllen strukturelle Muster im Konzeptraum des Modells. Der Code ist verfügbar unter https://github.com/cisnlp/code-specific-neurons.

English

Several studies have explored the mechanisms of large language models (LLMs) in coding tasks, but most have focused on programming languages (PLs) in a monolingual setting. In this paper, we investigate the relationship between multiple PLs and English in the concept space of LLMs. We perform a few-shot translation task on 21 PL pairs using two Llama-based models. By decoding the embeddings of intermediate layers during this task, we observe that the concept space is closer to English (including PL keywords) and assigns high probabilities to English tokens in the second half of the intermediate layers. We analyze neuron activations for 11 PLs and English, finding that while language-specific neurons are primarily concentrated in the bottom layers, those exclusive to each PL tend to appear in the top layers. For PLs that are highly aligned with multiple other PLs, identifying language-specific neurons is not feasible. These PLs also tend to have a larger keyword set than other PLs and are closer to the model's concept space regardless of the input/output PL in the translation task. Our findings provide insights into how LLMs internally represent PLs, revealing structural patterns in the model's concept space. Code is available at https://github.com/cisnlp/code-specific-neurons.