LayerCake: Decodificación Contrastiva Consciente de Tokens dentro de las Capas de Modelos de Lenguaje de Gran Escala

LayerCake: Token-Aware Contrastive Decoding within Large Language Model Layers

July 6, 2025

Autores: Jingze Zhu, Yongliang Wu, Wenbo Zhu, Jiawang Cao, Yanqiang Zheng, Jiawei Chen, Xu Yang, Bernt Schiele, Jonas Fischer, Xinting Hu

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) destacan en la comprensión y generación de lenguaje natural, pero siguen siendo vulnerables a errores factuales, lo que limita su confiabilidad en tareas intensivas en conocimiento. Si bien las estrategias en tiempo de decodificación ofrecen una solución eficiente prometedora sin necesidad de entrenamiento, los métodos existentes suelen tratar las señales a nivel de token y a nivel de capa de manera aislada, pasando por alto la dinámica conjunta entre ellas. En este trabajo, presentamos un método de decodificación contrastiva localizado por capas y consciente de los tokens, que alinea tipos específicos de tokens con sus capas de transformadores más influyentes para mejorar la generación factual. A través de un análisis empírico de atención, identificamos dos patrones clave: los tokens de puntuación reciben atención dominante en las capas iniciales, mientras que los tokens conceptuales gobiernan el razonamiento semántico en las capas intermedias. Al suprimir selectivamente la atención a estos tipos de tokens en sus respectivas profundidades, logramos la inducción de una degradación factual controlada y derivamos señales contrastivas para guiar la decodificación factual final. Nuestro método no requiere entrenamiento adicional ni modificaciones del modelo, y los experimentos demuestran que mejora consistentemente la factualidad en múltiples LLMs y diversos benchmarks.

English

Large language models (LLMs) excel at natural language understanding and generation but remain vulnerable to factual errors, limiting their reliability in knowledge-intensive tasks. While decoding-time strategies provide a promising efficient solution without training, existing methods typically treat token-level and layer-level signals in isolation, overlooking the joint dynamics between them. In this work, we introduce a token-aware, layer-localized contrastive decoding method that aligns specific token types with their most influential transformer layers to improve factual generation. Through empirical attention analysis, we identify two key patterns: punctuation tokens receive dominant attention in early layers, while conceptual tokens govern semantic reasoning in intermediate layers. By selectively suppressing attention to these token types at their respective depths, we achieve the induction of controlled factual degradation and derive contrastive signals to guide the final factual decoding. Our method requires no additional training or model modification, and experiments demonstrate that our method consistently improves factuality across multiple LLMs and various benchmarks.