LayerCake: Token-bewust contrastief decoderen binnen lagen van grote taalmodellen

LayerCake: Token-Aware Contrastive Decoding within Large Language Model Layers

July 6, 2025

Auteurs: Jingze Zhu, Yongliang Wu, Wenbo Zhu, Jiawang Cao, Yanqiang Zheng, Jiawei Chen, Xu Yang, Bernt Schiele, Jonas Fischer, Xinting Hu

cs.AI

Samenvatting

Grote taalmodellen (LLMs) blinken uit in natuurlijke taalverwerking en -generatie, maar blijven kwetsbaar voor feitelijke fouten, wat hun betrouwbaarheid beperkt in kennisintensieve taken. Hoewel strategieën tijdens het decoderen een veelbelovende efficiënte oplossing bieden zonder training, behandelen bestaande methoden doorgaans token-niveau en laag-niveau signalen afzonderlijk, waarbij de gezamenlijke dynamiek tussen hen over het hoofd wordt gezien. In dit werk introduceren we een token-bewuste, laag-gelokaliseerde contrastieve decoderingmethode die specifieke tokentypes uitlijnt met hun meest invloedrijke transformer-lagen om feitelijke generatie te verbeteren. Door empirische aandachtanalyse identificeren we twee belangrijke patronen: interpunctietokens krijgen dominante aandacht in vroege lagen, terwijl conceptuele tokens semantische redenering beheersen in tussenliggende lagen. Door selectief aandacht voor deze tokentypes op hun respectievelijke dieptes te onderdrukken, bereiken we de inductie van gecontroleerde feitelijke degradatie en leiden we contrastieve signalen af om de uiteindelijke feitelijke decodering te sturen. Onze methode vereist geen aanvullende training of modelaanpassing, en experimenten tonen aan dat onze methode consistent de feitelijkheid verbetert over meerdere LLMs en diverse benchmarks.

English

Large language models (LLMs) excel at natural language understanding and generation but remain vulnerable to factual errors, limiting their reliability in knowledge-intensive tasks. While decoding-time strategies provide a promising efficient solution without training, existing methods typically treat token-level and layer-level signals in isolation, overlooking the joint dynamics between them. In this work, we introduce a token-aware, layer-localized contrastive decoding method that aligns specific token types with their most influential transformer layers to improve factual generation. Through empirical attention analysis, we identify two key patterns: punctuation tokens receive dominant attention in early layers, while conceptual tokens govern semantic reasoning in intermediate layers. By selectively suppressing attention to these token types at their respective depths, we achieve the induction of controlled factual degradation and derive contrastive signals to guide the final factual decoding. Our method requires no additional training or model modification, and experiments demonstrate that our method consistently improves factuality across multiple LLMs and various benchmarks.