Vazio em Modelos de Linguagem

Void in Language Models

May 20, 2025

Autores: Mani Shemiranifar

cs.AI

Resumo

Apesar dos avanços nos modelos de linguagem baseados em transformadores (LMs), uma questão fundamental permanece em grande parte sem resposta: Todas as camadas são ativadas durante a inferência? Investigamos essa questão detectando camadas não ativadas (que chamamos de Vazios) usando um método de computação adaptativa não treinável e sem parâmetros chamado L2 Adaptive Computation (LAC). Adaptamos o LAC de sua aplicação original focada em eficiência para rastrear camadas ativadas durante a inferência. Esse método monitora mudanças na norma L2 das ativações para identificar vazios. Analisamos a ativação de camadas em LMs ajustados por instruções em duas fases: Processamento de Prompt (PP), onde rastreamos camadas ativadas para cada token nos prompts de entrada, e Geração de Resposta (RG), onde rastreamos camadas ativadas para cada token gerado. Além disso, demonstramos que camadas distintas são ativadas durante essas duas fases. Para mostrar a eficácia do nosso método, avaliamos três LMs distintos ajustados por instruções das famílias Llama, Mistral e Qwen em três benchmarks: MMLU, GPQA Diamond e BoolQ. Por exemplo, no MMLU com configuração zero-shot, pular os vazios no Qwen2.5-7B-Instruct resultou em uma melhoria de 69,24 para 71,29, enquanto o modelo usa apenas 30% das camadas. Da mesma forma, o Mistral-7B-Instruct-v0.3 no GPQA Diamond melhorou de 13,88 para 18,36 ao usar 70% das camadas durante as fases de PP e RG. Esses resultados mostram que nem todas as camadas contribuem igualmente durante a inferência, e que pular seletivamente a maioria delas pode melhorar o desempenho dos modelos em determinadas tarefas.

English

Despite advances in transformer-based language models (LMs), a fundamental question remains largely unanswered: Are all layers activated during inference? We investigate this question by detecting unactivated layers (which we refer to as Voids) using a non-trainable and parameter-free adaptive computation method called L2 Adaptive Computation (LAC). We adapt LAC from its original efficiency-focused application to trace activated layers during inference. This method monitors changes in the L2-norm of activations to identify voids. We analyze layer activation in instruction-tuned LMs across two phases: Prompt Processing (PP), where we trace activated layers for each token in the input prompts, and Response Generation (RG), where we trace activated layers for each generated token. We further demonstrate that distinct layers are activated during these two phases. To show the effectiveness of our method, we evaluated three distinct instruction-tuned LMs from the Llama, Mistral, and Qwen families on three benchmarks: MMLU, GPQA Diamond, and BoolQ. For example, on MMLU with a zero-shot setting, skipping voids in Qwen2.5-7B-Instruct resulted in an improvement from 69.24 to 71.29 while the model uses only 30% of the layers. Similarly, Mistral-7B-Instruct-v0.3 on GPQA Diamond improved from 13.88 to 18.36 when using 70% of the layers during both the PP and RG phases. These results show that not all layers contribute equally during inference, and that selectively skipping most of them can improve the performance of models on certain tasks.