LayerCake: Decodificação Contrastiva Consciente de Tokens nas Camadas de Modelos de Linguagem de Grande Escala

LayerCake: Token-Aware Contrastive Decoding within Large Language Model Layers

July 6, 2025

Autores: Jingze Zhu, Yongliang Wu, Wenbo Zhu, Jiawang Cao, Yanqiang Zheng, Jiawei Chen, Xu Yang, Bernt Schiele, Jonas Fischer, Xinting Hu

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) se destacam na compreensão e geração de linguagem natural, mas permanecem vulneráveis a erros factuais, limitando sua confiabilidade em tarefas que demandam conhecimento intensivo. Embora estratégias de decodificação em tempo de execução ofereçam uma solução eficiente promissora sem necessidade de treinamento, os métodos existentes geralmente tratam os sinais em nível de token e em nível de camada de forma isolada, negligenciando a dinâmica conjunta entre eles. Neste trabalho, introduzimos um método de decodificação contrastiva localizado por camada e consciente de tokens, que alinha tipos específicos de tokens com suas camadas de transformador mais influentes para melhorar a geração factual. Por meio de uma análise empírica de atenção, identificamos dois padrões-chave: tokens de pontuação recebem atenção dominante nas camadas iniciais, enquanto tokens conceituais governam o raciocínio semântico nas camadas intermediárias. Ao suprimir seletivamente a atenção a esses tipos de tokens em suas respectivas profundidades, conseguimos induzir uma degradação factual controlada e derivar sinais contrastivos para guiar a decodificação factual final. Nosso método não requer treinamento adicional ou modificação do modelo, e experimentos demonstram que ele melhora consistentemente a factualidade em vários LLMs e benchmarks diversos.

English

Large language models (LLMs) excel at natural language understanding and generation but remain vulnerable to factual errors, limiting their reliability in knowledge-intensive tasks. While decoding-time strategies provide a promising efficient solution without training, existing methods typically treat token-level and layer-level signals in isolation, overlooking the joint dynamics between them. In this work, we introduce a token-aware, layer-localized contrastive decoding method that aligns specific token types with their most influential transformer layers to improve factual generation. Through empirical attention analysis, we identify two key patterns: punctuation tokens receive dominant attention in early layers, while conceptual tokens govern semantic reasoning in intermediate layers. By selectively suppressing attention to these token types at their respective depths, we achieve the induction of controlled factual degradation and derive contrastive signals to guide the final factual decoding. Our method requires no additional training or model modification, and experiments demonstrate that our method consistently improves factuality across multiple LLMs and various benchmarks.