Cómo los Conceptos de Programación y las Neuronas se Comparten en los Modelos de Lenguaje de Código

How Programming Concepts and Neurons Are Shared in Code Language Models

June 1, 2025

Autores: Amir Hossein Kargaran, Yihong Liu, François Yvon, Hinrich Schütze

cs.AI

Resumen

Varios estudios han explorado los mecanismos de los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) en tareas de codificación, pero la mayoría se ha centrado en lenguajes de programación (PLs, por sus siglas en inglés) en un entorno monolingüe. En este artículo, investigamos la relación entre múltiples PLs y el inglés en el espacio conceptual de los LLMs. Realizamos una tarea de traducción con pocos ejemplos en 21 pares de PLs utilizando dos modelos basados en Llama. Al decodificar los embeddings de las capas intermedias durante esta tarea, observamos que el espacio conceptual está más cerca del inglés (incluyendo palabras clave de los PLs) y asigna altas probabilidades a los tokens en inglés en la segunda mitad de las capas intermedias. Analizamos las activaciones neuronales para 11 PLs y el inglés, encontrando que, aunque las neuronas específicas del lenguaje se concentran principalmente en las capas inferiores, aquellas exclusivas de cada PL tienden a aparecer en las capas superiores. Para los PLs que están altamente alineados con múltiples otros PLs, identificar neuronas específicas del lenguaje no es factible. Estos PLs también tienden a tener un conjunto de palabras clave más amplio que otros PLs y están más cerca del espacio conceptual del modelo, independientemente del PL de entrada/salida en la tarea de traducción. Nuestros hallazgos proporcionan información sobre cómo los LLMs representan internamente los PLs, revelando patrones estructurales en el espacio conceptual del modelo. El código está disponible en https://github.com/cisnlp/code-specific-neurons.

English

Several studies have explored the mechanisms of large language models (LLMs) in coding tasks, but most have focused on programming languages (PLs) in a monolingual setting. In this paper, we investigate the relationship between multiple PLs and English in the concept space of LLMs. We perform a few-shot translation task on 21 PL pairs using two Llama-based models. By decoding the embeddings of intermediate layers during this task, we observe that the concept space is closer to English (including PL keywords) and assigns high probabilities to English tokens in the second half of the intermediate layers. We analyze neuron activations for 11 PLs and English, finding that while language-specific neurons are primarily concentrated in the bottom layers, those exclusive to each PL tend to appear in the top layers. For PLs that are highly aligned with multiple other PLs, identifying language-specific neurons is not feasible. These PLs also tend to have a larger keyword set than other PLs and are closer to the model's concept space regardless of the input/output PL in the translation task. Our findings provide insights into how LLMs internally represent PLs, revealing structural patterns in the model's concept space. Code is available at https://github.com/cisnlp/code-specific-neurons.