LayerCake: Token-bewusstes kontrastives Decodieren innerhalb der Schichten großer Sprachmodelle

LayerCake: Token-Aware Contrastive Decoding within Large Language Model Layers

July 6, 2025

papers.authors: Jingze Zhu, Yongliang Wu, Wenbo Zhu, Jiawang Cao, Yanqiang Zheng, Jiawei Chen, Xu Yang, Bernt Schiele, Jonas Fischer, Xinting Hu

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) zeichnen sich durch ein hohes Maß an natürlichem Sprachverständnis und -generierung aus, bleiben jedoch anfällig für faktische Fehler, was ihre Zuverlässigkeit bei wissensintensiven Aufgaben einschränkt. Während Dekodierungszeitstrategien eine vielversprechende und effiziente Lösung ohne zusätzliches Training bieten, behandeln bestehende Methoden typischerweise Token- und Ebenensignale isoliert und vernachlässigen dabei die gemeinsame Dynamik zwischen ihnen. In dieser Arbeit führen wir eine tokenbewusste, ebenenlokalisierte kontrastive Dekodierungsmethode ein, die spezifische Tokentypen mit ihren einflussreichsten Transformer-Ebenen abstimmt, um die faktische Generierung zu verbessern. Durch empirische Aufmerksamkeitsanalyse identifizieren wir zwei Schlüsselmuster: Satzzeichen-Tokens erhalten in frühen Ebenen dominante Aufmerksamkeit, während konzeptuelle Tokens das semantische Denken in mittleren Ebenen steuern. Durch die selektive Unterdrückung der Aufmerksamkeit für diese Tokentypen in ihren jeweiligen Tiefen erreichen wir die Induktion einer kontrollierten faktischen Degradation und leiten kontrastive Signale ab, um die endgültige faktische Dekodierung zu steuern. Unsere Methode erfordert kein zusätzliches Training oder Modifikationen am Modell, und Experimente zeigen, dass unsere Methode die Faktentreue über mehrere LLMs und verschiedene Benchmarks hinweg konsistent verbessert.

English

Large language models (LLMs) excel at natural language understanding and generation but remain vulnerable to factual errors, limiting their reliability in knowledge-intensive tasks. While decoding-time strategies provide a promising efficient solution without training, existing methods typically treat token-level and layer-level signals in isolation, overlooking the joint dynamics between them. In this work, we introduce a token-aware, layer-localized contrastive decoding method that aligns specific token types with their most influential transformer layers to improve factual generation. Through empirical attention analysis, we identify two key patterns: punctuation tokens receive dominant attention in early layers, while conceptual tokens govern semantic reasoning in intermediate layers. By selectively suppressing attention to these token types at their respective depths, we achieve the induction of controlled factual degradation and derive contrastive signals to guide the final factual decoding. Our method requires no additional training or model modification, and experiments demonstrate that our method consistently improves factuality across multiple LLMs and various benchmarks.