LayerCake : Décodage Contrastif Conscient des Tokens dans les Couches des Grands Modèles de Langage

LayerCake: Token-Aware Contrastive Decoding within Large Language Model Layers

July 6, 2025

papers.authors: Jingze Zhu, Yongliang Wu, Wenbo Zhu, Jiawang Cao, Yanqiang Zheng, Jiawei Chen, Xu Yang, Bernt Schiele, Jonas Fischer, Xinting Hu

cs.AI

papers.abstract

Les grands modèles de langage (LLMs) excellent dans la compréhension et la génération du langage naturel, mais restent vulnérables aux erreurs factuelles, limitant ainsi leur fiabilité dans les tâches nécessitant une connaissance approfondie. Bien que les stratégies appliquées au moment du décodage offrent une solution efficace prometteuse sans nécessiter d'entraînement, les méthodes existantes traitent généralement les signaux au niveau des tokens et des couches de manière isolée, négligeant la dynamique conjointe entre eux. Dans ce travail, nous introduisons une méthode de décodage contrastif localisée par couche et consciente des tokens, qui aligne des types spécifiques de tokens avec leurs couches de transformateurs les plus influentes pour améliorer la génération factuelle. Grâce à une analyse empirique de l'attention, nous identifions deux motifs clés : les tokens de ponctuation reçoivent une attention dominante dans les couches précoces, tandis que les tokens conceptuels gouvernent le raisonnement sémantique dans les couches intermédiaires. En supprimant sélectivement l'attention accordée à ces types de tokens à leurs profondeurs respectives, nous induisons une dégradation factuelle contrôlée et dérivons des signaux contrastifs pour guider le décodage factuel final. Notre méthode ne nécessite aucun entraînement supplémentaire ni modification du modèle, et les expériences démontrent qu'elle améliore systématiquement la factualité sur plusieurs LLMs et divers benchmarks.

English

Large language models (LLMs) excel at natural language understanding and generation but remain vulnerable to factual errors, limiting their reliability in knowledge-intensive tasks. While decoding-time strategies provide a promising efficient solution without training, existing methods typically treat token-level and layer-level signals in isolation, overlooking the joint dynamics between them. In this work, we introduce a token-aware, layer-localized contrastive decoding method that aligns specific token types with their most influential transformer layers to improve factual generation. Through empirical attention analysis, we identify two key patterns: punctuation tokens receive dominant attention in early layers, while conceptual tokens govern semantic reasoning in intermediate layers. By selectively suppressing attention to these token types at their respective depths, we achieve the induction of controlled factual degradation and derive contrastive signals to guide the final factual decoding. Our method requires no additional training or model modification, and experiments demonstrate that our method consistently improves factuality across multiple LLMs and various benchmarks.