Leere in Sprachmodellen

Void in Language Models

May 20, 2025

Autoren: Mani Shemiranifar

cs.AI

Zusammenfassung

Trotz Fortschritten bei transformerbasierten Sprachmodellen (LMs) bleibt eine grundlegende Frage weitgehend unbeantwortet: Werden alle Schichten während der Inferenz aktiviert? Wir untersuchen diese Frage, indem wir nicht aktivierte Schichten (die wir als Voids bezeichnen) mithilfe einer nicht trainierbaren und parameterfreien adaptiven Berechnungsmethode namens L2 Adaptive Computation (LAC) erkennen. Wir passen LAC von seiner ursprünglichen effizienzorientierten Anwendung an, um aktivierte Schichten während der Inferenz zu verfolgen. Diese Methode überwacht Änderungen in der L2-Norm der Aktivierungen, um Voids zu identifizieren. Wir analysieren die Schichtaktivierung in instruktionsoptimierten LMs in zwei Phasen: Prompt Processing (PP), bei dem wir aktivierte Schichten für jedes Token in den Eingabeaufforderungen verfolgen, und Response Generation (RG), bei dem wir aktivierte Schichten für jedes generierte Token verfolgen. Wir zeigen weiterhin, dass unterschiedliche Schichten während dieser beiden Phasen aktiviert werden. Um die Wirksamkeit unserer Methode zu demonstrieren, haben wir drei verschiedene instruktionsoptimierte LMs aus den Familien Llama, Mistral und Qwen anhand von drei Benchmarks evaluiert: MMLU, GPQA Diamond und BoolQ. Beispielsweise führte das Überspringen von Voids in Qwen2.5-7B-Instruct bei MMLU in einer Zero-Shot-Einstellung zu einer Verbesserung von 69,24 auf 71,29, während das Modell nur 30 % der Schichten verwendet. Ebenso verbesserte sich Mistral-7B-Instruct-v0.3 bei GPQA Diamond von 13,88 auf 18,36, wenn 70 % der Schichten sowohl in der PP- als auch in der RG-Phase verwendet wurden. Diese Ergebnisse zeigen, dass nicht alle Schichten während der Inferenz gleichermaßen beitragen und dass das selektive Überspringen der meisten von ihnen die Leistung der Modelle bei bestimmten Aufgaben verbessern kann.

English

Despite advances in transformer-based language models (LMs), a fundamental question remains largely unanswered: Are all layers activated during inference? We investigate this question by detecting unactivated layers (which we refer to as Voids) using a non-trainable and parameter-free adaptive computation method called L2 Adaptive Computation (LAC). We adapt LAC from its original efficiency-focused application to trace activated layers during inference. This method monitors changes in the L2-norm of activations to identify voids. We analyze layer activation in instruction-tuned LMs across two phases: Prompt Processing (PP), where we trace activated layers for each token in the input prompts, and Response Generation (RG), where we trace activated layers for each generated token. We further demonstrate that distinct layers are activated during these two phases. To show the effectiveness of our method, we evaluated three distinct instruction-tuned LMs from the Llama, Mistral, and Qwen families on three benchmarks: MMLU, GPQA Diamond, and BoolQ. For example, on MMLU with a zero-shot setting, skipping voids in Qwen2.5-7B-Instruct resulted in an improvement from 69.24 to 71.29 while the model uses only 30% of the layers. Similarly, Mistral-7B-Instruct-v0.3 on GPQA Diamond improved from 13.88 to 18.36 when using 70% of the layers during both the PP and RG phases. These results show that not all layers contribute equally during inference, and that selectively skipping most of them can improve the performance of models on certain tasks.