Como Conceitos de Programação e Neurônios São Compartilhados em Modelos de Linguagem de Código

How Programming Concepts and Neurons Are Shared in Code Language Models

June 1, 2025

Autores: Amir Hossein Kargaran, Yihong Liu, François Yvon, Hinrich Schütze

cs.AI

Resumo

Vários estudos exploraram os mecanismos dos modelos de linguagem de grande escala (LLMs) em tarefas de codificação, mas a maioria se concentrou em linguagens de programação (PLs) em um contexto monolíngue. Neste artigo, investigamos a relação entre múltiplas PLs e o inglês no espaço conceitual dos LLMs. Realizamos uma tarefa de tradução few-shot em 21 pares de PLs utilizando dois modelos baseados em Llama. Ao decodificar os embeddings das camadas intermediárias durante essa tarefa, observamos que o espaço conceitual está mais próximo do inglês (incluindo palavras-chave das PLs) e atribui altas probabilidades aos tokens em inglês na segunda metade das camadas intermediárias. Analisamos as ativações de neurônios para 11 PLs e o inglês, descobrindo que, embora os neurônios específicos de cada linguagem estejam principalmente concentrados nas camadas inferiores, aqueles exclusivos de cada PL tendem a aparecer nas camadas superiores. Para PLs que estão altamente alinhadas com múltiplas outras PLs, identificar neurônios específicos de cada linguagem não é viável. Essas PLs também tendem a ter um conjunto maior de palavras-chave em comparação com outras PLs e estão mais próximas do espaço conceitual do modelo, independentemente da PL de entrada/saída na tarefa de tradução. Nossas descobertas fornecem insights sobre como os LLMs representam internamente as PLs, revelando padrões estruturais no espaço conceitual do modelo. O código está disponível em https://github.com/cisnlp/code-specific-neurons.

English

Several studies have explored the mechanisms of large language models (LLMs) in coding tasks, but most have focused on programming languages (PLs) in a monolingual setting. In this paper, we investigate the relationship between multiple PLs and English in the concept space of LLMs. We perform a few-shot translation task on 21 PL pairs using two Llama-based models. By decoding the embeddings of intermediate layers during this task, we observe that the concept space is closer to English (including PL keywords) and assigns high probabilities to English tokens in the second half of the intermediate layers. We analyze neuron activations for 11 PLs and English, finding that while language-specific neurons are primarily concentrated in the bottom layers, those exclusive to each PL tend to appear in the top layers. For PLs that are highly aligned with multiple other PLs, identifying language-specific neurons is not feasible. These PLs also tend to have a larger keyword set than other PLs and are closer to the model's concept space regardless of the input/output PL in the translation task. Our findings provide insights into how LLMs internally represent PLs, revealing structural patterns in the model's concept space. Code is available at https://github.com/cisnlp/code-specific-neurons.