Leegte in Taalmodellen

Void in Language Models

May 20, 2025

Auteurs: Mani Shemiranifar

cs.AI

Samenvatting

Ondanks vooruitgang in transformer-gebaseerde taalmodelen (LMs), blijft een fundamentele vraag grotendeels onbeantwoord: Worden alle lagen geactiveerd tijdens inferentie? Wij onderzoeken deze vraag door niet-geactiveerde lagen (die we Voids noemen) te detecteren met behulp van een niet-trainbare en parameter-vrije adaptieve rekenmethode genaamd L2 Adaptive Computation (LAC). We passen LAC aan van zijn oorspronkelijke efficiëntiegerichte toepassing om geactiveerde lagen tijdens inferentie te traceren. Deze methode monitort veranderingen in de L2-norm van activeringen om voids te identificeren. We analyseren laagactivatie in instructie-afgestemde LMs in twee fasen: Promptverwerking (PP), waarbij we geactiveerde lagen traceren voor elk token in de invoerprompts, en Responsgeneratie (RG), waarbij we geactiveerde lagen traceren voor elk gegenereerd token. We tonen verder aan dat verschillende lagen worden geactiveerd tijdens deze twee fasen. Om de effectiviteit van onze methode aan te tonen, evalueerden we drie verschillende instructie-afgestemde LMs uit de Llama-, Mistral- en Qwen-families op drie benchmarks: MMLU, GPQA Diamond en BoolQ. Bijvoorbeeld, op MMLU met een zero-shot instelling resulteerde het overslaan van voids in Qwen2.5-7B-Instruct in een verbetering van 69.24 naar 71.29 terwijl het model slechts 30% van de lagen gebruikt. Evenzo verbeterde Mistral-7B-Instruct-v0.3 op GPQA Diamond van 13.88 naar 18.36 bij gebruik van 70% van de lagen tijdens zowel de PP- als RG-fasen. Deze resultaten tonen aan dat niet alle lagen evenveel bijdragen tijdens inferentie, en dat het selectief overslaan van de meeste ervan de prestaties van modellen op bepaalde taken kan verbeteren.

English

Despite advances in transformer-based language models (LMs), a fundamental question remains largely unanswered: Are all layers activated during inference? We investigate this question by detecting unactivated layers (which we refer to as Voids) using a non-trainable and parameter-free adaptive computation method called L2 Adaptive Computation (LAC). We adapt LAC from its original efficiency-focused application to trace activated layers during inference. This method monitors changes in the L2-norm of activations to identify voids. We analyze layer activation in instruction-tuned LMs across two phases: Prompt Processing (PP), where we trace activated layers for each token in the input prompts, and Response Generation (RG), where we trace activated layers for each generated token. We further demonstrate that distinct layers are activated during these two phases. To show the effectiveness of our method, we evaluated three distinct instruction-tuned LMs from the Llama, Mistral, and Qwen families on three benchmarks: MMLU, GPQA Diamond, and BoolQ. For example, on MMLU with a zero-shot setting, skipping voids in Qwen2.5-7B-Instruct resulted in an improvement from 69.24 to 71.29 while the model uses only 30% of the layers. Similarly, Mistral-7B-Instruct-v0.3 on GPQA Diamond improved from 13.88 to 18.36 when using 70% of the layers during both the PP and RG phases. These results show that not all layers contribute equally during inference, and that selectively skipping most of them can improve the performance of models on certain tasks.